根据《琴当序》《礼记·乐记》《新论》等经典著作的描述，我们可以了解到，古琴可能产生于伏羲氏时期，最开始是一弦的形制；到虞舜之时，被改进成了五弦的形制；商朝末年，文王、武王又将五弦的形制改成了七弦的形制。不过，不同形制的古琴一直到秦汉之前都还是同时存在着的。
周朝周公“制礼作乐”之后，古琴正式地进入了华夏正统文化的体系。这时候古琴的地位被逐渐地提高，并被赋予了礼制和教化的意味。
我们熟知的“高山流水遇知音”的故事，也正出自于这一时期。伯牙在得知唯一能听懂自己琴声意蕴的钟子期去世之后，亲手毁坏了自己的琴。可见，从这一时期开始，古琴的存在就已经不再只是单纯的乐器的存在了，它开始有了一些社会和社交功能。
汉朝时期，古琴的形制在这一时期基本定型，由不定弦基本变为了七弦，同时也出现了比较完善的共鸣箱和琴徽（琴弦音位的标志）。
这一时期，文人们纷纷参与到了古琴的演奏和研究，留下了大量的琴曲和论著。恒谭的《琴道》、马融的《琴赋》、蔡邕的《弹琴赋》、《琴操》等等都是最早的一批有关古琴的著作。著名的琴曲则有蔡琰的《胡笳十八拍》等。
魏晋时期，以“建安七子”和“竹林七贤”为代表的文人群体使得古琴艺术又上了一个台阶，这些人不仅善于演奏，还进行了很多有很高价值的琴曲创作。嵇康的《广陵散》和阮籍的《酒狂》等都是一代名曲。
值得一提的是，《三国演义》中我们熟知的诸葛亮及其弟子姜维都是蜀山琴派的代表人物，二人都有很高的古琴音乐造诣，尽管他们都在军旅中度过了大半生，算不上纯粹的文人。由此可见，当时的古琴艺术有多么受上层社会的青睐。
南北朝时期，古琴琴谱《碣石调·幽兰》出现了。这是一种用汉字来记录演奏方式的乐谱，也是我国现存的最早的一份文字谱。
时间到了隋唐。这一时期，我国的经济文化高度繁荣，万国来朝，此时古琴艺术也传到了朝鲜和日本。此时，我们熟知的大诗人李白、白居易和韩愈等都热衷于弹奏和欣赏古琴。李白在与友人的交往中，经常以弹琴作为邀请的条件。也就是说，只要你努力练琴，没准哪天大名鼎鼎的诗仙就会莅临你的家中。
两宋时期，古琴开始出现了流派传承。第一个古琴流派浙派出现于南宋晚期，代表琴家有郭沔等，作品有《潇湘水云》等。同样，我们熟知的著名词人范仲淹、欧阳修、苏轼等都热衷于古琴艺术。苏轼同时也是蜀山琴派的代表人物。
宋末金元时期，古琴艺术已在契丹族、女真族、蒙古贵族的文人间广为流传，不再局限于汉族了，开始逐渐地成了整个中华民族共同的艺术。
明朝时期，古琴流派的数量出现了井喷式的增长，许多流派都开始大量地刊印琴谱。明太祖之子朱权编纂的《神奇秘谱》保存了诸如《流水》《广陵散》在内的众多古曲，具有极高的艺术和历史价值。
