40年代初，乐队成员开始轮流大变动，直到1944年才固定下来。这些新成员被称为‘第一群’。他们演奏的音乐不仅效果好，其中一些乐曲如《Apple Honey》、《Caldonia》、《Northwest Passage》、《Goosey Gander》等都获得很好的销售成绩 。1946年该乐队虽保留了部成员，但引进了大量新鲜血液。这个‘第一群’虽然在卡内基音乐厅（纽约著名音乐厅，以接纳高质量演奏艺人称著）举办了一个场极受欢的音乐会，加深了知名度，但在年底由于财政困难，这个乐队临时解散了。1947年赫尔曼又组成了他的‘第二群’传称为‘四兄弟’乐队。这支乐队的风格接近现代大乐队。所以被称为‘四兄弟’是指乐队中萨克管部分。他们的音效不同于同时代的任何其它其乐队，但还是摇摆型的。成功的唱片有《Keen And Peachy》、《The Goof And I》、《Early Autumn》等。在《Early Autumn》中Stan Getz的独奏部分，是爵士乐界萨克管吹出抒情乐句的第一范例。也许是这支乐队在那时太前卫了一些，被大众接受的程度有限，赫尔曼又将之解散，但立即又重组了一支。
要数清赫尔曼的‘群’太不容易了，不过赫尔曼将这支50年代初形成的乐队称为‘第三群’。虽然乐队中缺少了‘四兄弟’及‘第一群’所表现的激情，但却表现了很好的摇摆状态。乐队和以前一样，拥有一流的乐手。特别是Nat Pierce，他不仅弹钢琴，编了不少很好的曲子，还充当了副领队的角色。但50年代中期终究不是大乐队称雄的时代，此时赫尔曼也有点不知所措，乐队成员笑称自己为‘非群’。1955年的成员相对稳定，只有少许变动，继而了推出如：《Bijou》、《Your Father’s Mustache》、《Wild Root》、《Blowin’ Up A Storm》等好唱片。到了60——70年代，赫尔曼的乐队有着各种非正式的称呼，如‘摇摆群’、‘雷呜群’等，到也名副其实。在60年代后期，他也曾表现出爵士摇滚的风格，但并非他心甘情愿。
1976年，他在卡内基音乐厅作了他在那里初露头脚40周年纪念的音乐会。进入80年代，赫曼的健康状况不佳，想到了退休。可是在他60年的演出生涯中，他的经纪人一直有着偷漏税的行为，此举这时令他几乎一贫如洗，还欠了税务局好几百万美金，还差点让人把他从在好莱坞山的居所内逐出出去。为了付清债务，他不得已托着有病的身体带领乐队到全世界巡回演出，虽取得了巨大的成功，但却损伤了他的健康。
1986年他做了庆祝作为乐队领队50年的巡回演出。1987年他的名字被刻印在好莱坞大道的名人大道上。同年3月，赫尔曼的‘群’（弄不清是第几群了）还在开音乐会，并且有些音乐会还录了音。赫尔曼于1987年10月29日逝世。
