廉江市横山镇并不属于高州府。

横山镇是廉江市下辖的一个镇，隶属于江门市管辖。高州府是广东省的一个历史行政区划，已于1912年废除，而廉江市则隶属于江门市。因此，横山镇并不属于高州府，而是属于江门市廉江市管辖范围内的一个行政区划。在现行的行政区划中，横山镇作为廉江市的一个组成部分，受廉江市政府管理。