扬州五台山原本是一土阜皋地，是吴王夫差开邗沟、隋炀帝杨广挖运河时掘土堆积而成。历史上的五台山位于古运河东岸，南北走向，南北长约3里，东西宽约200米。从古运河黄金坝拐弯处一直绵延到洼字街。最北端的现五台山医院处最高，越向南越低，中间也有凸起处，总体地貌是高低起伏。几经历史变迁，五台山才逐渐变得不见山了。