南宋时，丞相贾似道上折称怀远地区“涡口上环荆山，下连淮岸，险要可据”，建议设置怀远军，管辖荆山县，意在“荆山为城，义在怀远”，以求收复黄淮流域。

此议为皇帝所准，遂南宋设军怀远，称为怀远军。