零陵郡设于西汉初年，当时吴氏长沙国因为无嗣而国除，朝廷顺势分长沙国为长沙郡和零陵郡（桂阳郡此前已分出）。

始设的零陵郡治零陵县，在今广西全州的咸水乡，东汉光武帝时期迁治泉陵县（今永州度市零陵区）。