衡阳市三中前身为衡阳市广德中学，于1931年7月由美国教会出资兴办的一所教会学校，校址最初为衡阳市城北区（现石鼓区）杨家坪。

2006年秋，市直中学布局调整，原冶金中学部分师生和原市特殊学校校址并入衡阳市三中，2007年衡阳市三中被定为高考考点.