番禺以当年广州城内番山和禺山而得名，番山，在今广州市区文德路中山图书馆旧址北面的“九思亭”处小丘一带，原来较高，南汉时扩大广州城区而被凿平。

禺山在今北京路以西，小马站以东，西湖路与越秀书院街之间。唐末开拓城区时被凿平。番禺县以县城番禺城命名，即后世之广州城，1925年广州设市，番禺县治迁市桥。