主要的来源于以下传说：一说来自香江，是早年岛上一自山间流向大海的溪流，香江成了香港的别名。

另一说来自传说中的名叫香姑的女海盗。还有源于红香炉的传说等等。