丹麦作曲家卡尔·尼尔森1865年6月9日生于Funen岛的一个小村子。父亲其实是位画家，但大多数时间是在婚礼或其他节庆场合拉小提琴，而母亲则得照看他们的十二个孩子。为了生计，他们不得不让这些还很小的孩子出去干活。卡尔才六岁的时候已经开始了第一个“正式的工作”——整个炎热的夏天给地主养鹅。
这小男孩感兴趣的是他父亲的表演。他很喜欢在烧火用的长长短短的木柴上敲敲打打演奏出音乐来，有一次他发现他们的橱桌其实是一架用旧的古钢琴时，他被那些竖立在能奏出音乐的琴弦上的一排排小铁锤搞得简直是神魂颠倒。卡尔的爸爸常能给儿子一些音乐礼物，很早就给小孩上起了小提琴课。八岁的时候，小孩就和爸爸一起在婚礼一类的活动中演奏了。卡尔甚至开始了自己作曲，但他爸爸对此没太在意。他说：“你得单独做这些东西，没人能随之舞蹈的。”后来，卡尔学了管乐器，14岁的时候，他成了在Funen最大的城镇欧登塞（Odense）的军乐队里的号手。人们注意到了这个天才少年，筹集了足够的私人基金送他到哥本哈根，皇家丹麦音乐学院（The Royal Danish Conservatory of Music）接受了他。
1883年他到哥本哈根皇家音乐学院学习。他的专业是小提琴,其他的专业则在尼尔斯·威廉·盖德和约翰·彼得·艾米流斯·哈特曼门下完成。1888年他的初次创作弦乐小组曲 op.1获得成功。1889年他成为哥本哈根皇家剧院小提琴手。而他获得了一份奖学金，使得在1890年他可以去到德国深造。
1891年尼尔森在巴黎认识了雕刻家Anne Marie Brodersen,同年两人结婚。两人白头到老,虽然不无危机。1892年尼尔森写成第一部交响曲,1898年创作Hymnus Amoris（爱之颂）,是为妻子而作的。1902年他的歌剧 扫罗与大卫首演，他亲自指挥。同年完成了第二交响曲四种性情。
1903年他偕同妻子去希腊旅游,途中创作了序曲Helios（赫利俄斯）。1905年他辞去了小提琴手一职，但1906-14年间一直在皇家剧院担任指挥一职。1906年轻松歌剧假面舞会首演,根据路德维希·霍尔伯格的喜剧写成。1912年才首演的第三交响曲Sinfonia espansiva和他同年创作的小提琴协奏曲使他名扬海外。
一战期间,他写了第四交响曲不可磨灭,但同时他个人和事业方面都遇上危机。当雨过天晴之时他写了第五交响曲和康塔塔 Fünen上的春天,这是丹麦人非常喜爱的一部作品,1922年两部作品首演。同年他和作曲同僚Thorvald Aagaard,Thomas Laub和Oluf Ring出版歌曲集Folkehøjskolens Melodibog。同样在1922年他为五位音乐家朋友写了管乐五重奏,他还打算为其中的每一位写一部独奏乐曲。但他只写成了其中两部长笛协奏曲 (1926)和单簧管协奏曲 (1928)。
1925年,他的60大寿,丹麦举国庆祝。他在外国登台更频繁。他的晚期作品，如两部管乐协奏曲,第六交响曲(1925)和三首钢琴作品 op.59 (1928),音乐语言更现代化。他最后一部大型作品是Commotio (1931),他唯一一部大型管风琴作品。1931年10月3日他因心脏病逝世。
尼尔森的作品对丹麦甚至整个北欧的音乐产生了深远的影响，被誉为丹麦音乐史上最伟大的音乐家。丹麦100克朗纸币上就有他的头像。他的音乐风格具有鲜明的民族特色、强烈的戏剧性，还体现出或辛辣幽默、或深沉多思、或粗犷豪放、或轻松活泼的音乐个性。其代表作是六部交响曲。《第一交响曲》(1890-1892)表现出J.勃拉姆斯的交响曲风格的影响;《第二交响曲》(亦称《四种气质》交响曲,1901-1902)的四个乐章分别表现急躁、恬静、忧郁和乐观等四种情感;《第三交响曲》(亦称《开阔交响曲》,1910-1911)以鲜明的民族特色著称;《第四交响曲》 (亦称《不灭交响曲》,1914-1916)虽写于第一次世界大战期间,但仍洋溢着生命的活力;《第五交响曲》（1921-1922）只有两个乐章,富有强烈的戏剧性;《第六交响曲》(亦称《纯朴交响曲》,1924-1925)是一部悲剧性作品。
另他还写了两部歌剧《扫罗和大卫》(1898-1901) 和《假面舞会》(1904——1906)，这两部歌剧风行丹麦全国，受到热烈欢迎。他创作的歌曲形式简洁、形象鲜明，具有一种古道热肠般的情谊。其他作品还有：《管乐五重奏》(1922)、《长笛协奏曲》(1926)、《单簧管协奏曲》(1928)、为单簧管、大管、圆号，大提琴和低音提琴而作的《徒劳小夜曲》Serenata Invano (1914)等，以及管风琴、钢琴音乐、以及众多的合唱、歌曲集。其著名的钢琴作品有：《五首作品》Op.3 (1890)、《交响组曲》Op.8 (1894)、《恰空舞曲》Op.32 (1916)、《主题与变奏曲》Op.40 (1917)等。
