介休叫介休的原因相传和介子推有关，公元前636年，晋文公封赏跟他一起逃亡的人，介子推不肯受赏，带着母亲隐居绵山。

晋文公带众人想把介子推请出来，求贤心切，听信了小人之言，三面烧山想把介子推逼出来，但介子推始终没有出来。大火烧了三天，有人在古柳树下发现了介子推和他母亲的尸骨，晋文公悲痛万分，将他们葬在此地，介休就是得名于介子推休于此，境内还有绵山风景区。介休市因出了介子推、郭林宗、文彦博三位贤士也被称为三贤故里。