早在《尚书·益稷》中记载有“箫韶九成,凤凰来仪。”当因韶乐伴奏乐器以箫(当时为排箫)为主而有此称。
箫在汉代时称为“篴”、“竖篴”或“羌笛”。羌笛原为古代居住在四川、甘肃一带的羌族人民的乐器,最初只有4孔(3个音孔加管口1孔),西汉京房(字君明,公元前77——前37年)在后面加了一个最高音孔后,成为5孔箫。
西晋乐工列和、中书监荀勖所改革的笛为6 孔(前5、后1),其形制与今天的箫已非常相似了。东晋的桓伊,擅长音乐,他有一支蔡邕的柯亭笛(箫),是江南数第一的吹箫名手,地位和声望都已很高。他曾为素不相识的王徽之吹奏过三段乐曲,在历史上被传为佳话。
魏晋南北朝时,箫已用于独奏、合奏,并在伴奏相和歌的乐队中使用。