衡山主要山峰有回雁峰、祝融峰、紫盖峰、岳麓山等，最高峰祝融峰海拔1300.2米。

衡山主体部分呈东北至西南走向，北起衡山县福田铺乡，南迄衡阳县樟木乡，西起衡阳县界牌镇，东止衡阳市南岳区，长38千米，最宽处17千米，总面积640平方千米。