据说早年香港岛上有一溪水自山间流出入海，水质甘香清甜，为附近居民与过往船只供应淡水，称为香江。由香江出海的港口也就称为香港。香江故址在今薄扶林附近，早已不存，但香江却成了香港的别名。

另一说香港名称来自香姑。香姑是传说中的女海盗，盘踞香港岛，后该岛被称为香姑岛，简称香岛，再演变成香港。

还有一说香港之名源于红香炉。传说很久以前从海上飘来一个红香炉，泊于天后庙前，居民以为天后显圣，便把红香炉供奉在庙中。岛上有个山也称为红香炉山。后来把这地方叫做红香炉港，筒称香港。