有关琵琶的记载最早出现在2000年前。东汉年（公元前25--220年）学者刘熙在《释名》一书中写到："枇杷，推手前曰枇，引手却曰杷，像其鼓时，因此为名"。但当时的琵琶形状与现在的不同，其形状为直颈，园形音箱，音位和弦数不固定。弦数为四五六条不等。这种琵琶当时被称作"秦琵琶"或"秦汉子"。实际上它就是今天我国民乐器中阮的前身。其名字来源于晋代竹林七贤中的阮咸。阮咸以善弹这种琵琶而著称。后人就把这种乐器称作“阮咸”，简称为阮。而琵琶之名让给了后来的曲项琵琶。
到了公元五、六世纪随着中国与西域民族商业和文化交流的加强，从中亚地区传入一种曲项琵琶，当时称作"胡琵琶"。其形状为曲颈，梨形音箱，有四柱四弦，很像目前在阿拉伯国家常见的乌特琴（Oud或Ud）。横抱琵琶用拨子演奏。现代的琵琶就是由这种琵琶发展而来的。
到了唐代（公元7-9世纪）琵琶的发展出现了一个高峰。当时上至宫廷乐队，下至民间演唱都少不了琵琶，随成为当时非常盛行的乐器，而且在乐队处于领奏地位。这种盛况在我国古代诗词中有大量的记载。例如唐代诗人白居易在他的著名诗篇《琵琶行》中非常形象地对琵琶演奏及其音响效果这样的描述：“大弦嘈嘈如急雨，小弦切切如私语。嘈嘈切切错杂弹，大珠小珠落玉盘"。
到了唐代后期琵琶从演奏技法到制作构造上都得到了很大的发展。在演奏技法上最突出的改革是由横抱演奏变为竖抱演奏，由手指直接演奏取代了用拨子演奏。琵琶构造方面最明显的改变是由四个音位增至十六个（即四相十二品）。同时它的颈部加宽，下部共鸣箱由宽变窄，便于左手按下部音位。由于以上这俩项改革，琵琶演奏技法得到了空前的发展。据统计琵琶的指法共有五六十种。归纳起来，右手指法分俩个系统：一、轮指系统，二、弹挑系统。左手指法也分俩个系统：一、按指系统，二、推拉系统。
到了公元十五世纪左右，琵琶已拥有一批以《十面埋伏》和《霸王卸甲》为代表的武曲以及以《月儿高》《思春》和《昭君怨》为代表的文曲。所谓武曲，其特点是以写实和运用右手技法为主；所谓文曲，其特点是以抒情和运用左手技法为主。这些乐曲已经成为中华民族音乐的瑰宝、琵琶艺术的珍品。
琵琶传统上是五声音阶。到了民国时期，已开始按照十二平均律增加琴码，目前标准的琵琶已有八相三十品，琵琶表现力和适应力大大加强，不仅可以演奏传统乐曲，而且可以演奏西洋和现代作品，并且有利于与交响乐队合作。为后来的进一步发展创造了条件。到了公元二十世纪中后期，琵琶艺术又有了新的发展，在琵琶制作方面，原来用的丝质弦改成了尼龙钢丝弦，有的甚至采用银弦，加大了琵琶音量和共鸣。在技法上左手大拇指以及和弦的运用使琵琶的表现力再次大大提高。由此涌现出一大批融传统音乐和现代作曲理论为一体的优秀的独奏作品，而且还出现了与各种乐器的重奏以及与小乐队和交响乐队的琵琶协奏曲。到了二十一世纪琵琶不仅在中国呈现出回复盛唐时期的景象，而且越来越受到世界各国音乐爱好者的关注。不少传统乐曲和当代作品受到中外听众喜爱。
