灵山岛，亦名水灵山岛，1930年代，作家萧军游此岛曾写有《水灵山岛》游记。

1932年，当时的民国政府曾在岛上设水灵山岛乡。

1949年后，称“灵山岛”。

水灵山岛来历和岛上的背来石有关。据传说，背来石是东海龙宫的女儿水灵姑娘从东海龙宫背来的千年灵石，据说此石很有灵性，遇到与之有缘之人，可在此石中悟到自己的吉凶和前途。人们为了纪念水灵姑娘的这一善举就将此岛叫做水灵山岛。