学院的前身为株洲铁路运输机械学校，创建于1956年，1958年举办株洲铁道学院（本科），1962年全国院系调整时恢复举办中专，更名为株洲铁路机械学校，由铁道部主办、广州铁路（集团）公司主管。

学校连续四次被评为国家级重点职业学校，在历次办学水平评估中名列湖南省前茅。两次被评为“全国职业技术教育先进单位”，多次被评为铁道部、湖南省职业技术教育先进单位。学校为铁路和社会培养了近3万名高素质技能型人才，培训铁路员工达4万余人次，被誉为湘粤琼铁路“黄埔军校”。

2004年学院成建制移交株洲市政府管理。

2005年3月，经湖南省人民政府批准、教育部备案，在原株洲铁路机械学校的基础上建立湖南铁路科技职业技术学院。