乐器是人类早在原始时期已拥有的文明财富之一。围绕乐器的来历，自古以来中外均有许多传说和神话，并长期被据为乐器的起源与发展之说。如中国许多古书记载：“女娲作箫”、“女娲作笙”、“伏羲作箫”、“伏羲作琴”、“庖犠氏作瑟”、“倕作钟”、“伶伦入昆伦山采竹为笛”、“黄帝命伶伦铸十二钟”、“黄帝杀虁以其皮为鼓”等。所述均为公元前四、五千年前的事，尚未或刚刚进入铜器时代，不可能有笙簧和铸钟等工艺很复杂的产品。那时的人对绝对音高可能有些概念，但对乐律未见有多少认识，象上述那些复杂的旋律性乐器不可能出现那么早。那些传说中的人物，是否实有其人，至今史学上仍存疑待探索。
所述乐器实有其物，但任何人不可能一下子造出那样完美的乐器。乐器都是逐步演进的。中国是世界上最早拥有乐器，是无疑的。据考，中国在远古时期（约公元前21世纪前），已有一些土鼓、磬、钟铃、骨哨、苇龠、埙等。可能还有苓、管、篪、笙。至夏商（公元前21世纪前至前11世纪），除此前的乐器得到发展，如出现定音的编钟、编磬，以及鼗、言（大箫）、笙等，说明已有初浅的音高音程概念。到周代，见于记载的乐器约近70种（有重名的），出现了对乐器分类的“八音”，有了琴、瑟等拨弦乐器。
国外如希腊神话，也有许多有关乐器的传说。说诸神之神墨丘利（Mercury）创造了弦乐器，说他有一次在尼罗河畔散步，脚触一物而发出美妙的声音，他拾起一看这声音是发自一个龟壳内一条干缩的筋，由此受到启发而发明了利拉琴（Lyre）。又说潘神（Pan）创制了管乐器潘排箫（Panpipes），经过是他爱上一位水泽女神许任克斯（Syrinx），追她直到一条河边，她因无救而由保护神把她变成芦苇，潘神就截取芦苇制成排箫（希腊语即称Syrinx），以长久持有和在恋念时吹奏。随着人类文明的发展，现在有越来越多的乐器起源得到厘清。据欧洲乐器学者考证，现代小提琴类弦乐器、竖琴、定音鼓等许多重要乐器，其始祖均出自美索不达米亚和古埃及的拉巴布（Rabab）、利拉和纳嘎拉（Naqara）等乐器。
神话是人类文化史的开卷篇。世界上的神话永远是美丽诱人而又神秘难解的谜。至今，类似某神或某传奇人物创造某种乐器的神话传说，在世界许多地方的民间仍然不断流传。这些美丽的神话传说，具有文学价值，也潜藏一定的史料素材。在许多神话传说以至近现代的有些音乐史书和论著中，把乐器的起源与音乐的起源紧紧联系在一起，随之而有种种起源说。另一种说法是，乐器起源于人类劳动和生活。因为乐器虽属音乐工具，两者有不可分割的关系，但乐器不同属于意识形态的音乐，而自始和劳动或生活用具有血缘关系。
乐器的起源和人类本身在进化过程中创制劳动工具的历史有密切联系。工具和乐器均可看作是人类器官的延伸。人类在能制造工具而区别于其它动物之前，在很长时期中已会捡起一些树杆、石头和兽骨之类的天然物充作工具。这些天然物也可能被作为最原始的乐器，表达某种情绪或信号。这种推断从现在有些地区的原始部落中，可得到一些对照。如多哥北部有人双手各持一块较小的石块，在若干较大的石块上击节；澳大利亚土著常数人围坐于地，各持一段树杆敲地发声；埃塞俄比亚和新几内亚居民常以两掌有节奏地拍击下面挖空的地面击节；索罗门群岛岛民常把大片树皮复盖在一个坑口，供舞蹈时脚跺发声伴奏。
前苏联在70年代出土一批旧石器时代晚期的猛犸骨，上面有敲打磨擦痕迹，经专家鉴定为被克罗马努人在万余年前用作乐器。人类制造工具和乐器，开始只是对天然物质作些简单的加工。
北欧和秘鲁等地发现有石器时代用动物股骨做的哨笛；20世纪中国在浙江河姆渡遗址出土约七千年前的百余件骨哨，是用禽类肢骨加工制成；其它还有多处这类发现，包括用海螺做的号，均为新石器时代晚期器物。据考这些原始管乐器，可能是用于诱捕鸟兽或发信号的。那时也出现了一些对天然材料经较复杂加工的乐器，河姆渡出土只有一个吹孔的陶埙。
有人推测，弦乐器发始于猎弓；鼓类起源于绷紧晾晒的兽皮；簧管乐器始出于一端压扁的芦苇管。但这些都是易朽物质，其始源皆无从考察，只是在世界的有些地区，尚能见到当今的类似原始乐器。乐器的发源，哪类早、哪类晚，历来也有种种不同观点。这里也和前节所述的不同乐器概念及历史观有关。
音乐学者往往是从纯艺术角度，来区别是否乐器，并把乐器的起源和音乐的起源紧密相联，对乐器在正式用于音乐艺术以前的历史则不予考虑。现代的乐器研究者把所有发声器具均列为乐器来研究。
从乐器的全部发展史来看，其起源何者在先、何者在后，是和人类生产力和智力的发展水平不可分割的。据考古发现，迄今证明，制作和使用均较简单的打击乐器当始发在先；利用某些芦苇、海螺、兽角等制作较易而。
