传说在陈朝时期，1288年白藤江海战后，渔民在岛上发现了一位陈朝将军的遗体。第二天，村民们前往岛上为他举行安葬仪式。

奇怪的是，在将军躺下的地方，白蚁堆起了一个类似坟墓的土丘。村民们认为这是神灵显现的征兆，于是建起一座小庙供奉他。后来，人们经常看到这位将军化身为一位白发长须的老人。从那时起，渔民们便尊敬地称他为“老祖”。

相传在后黎朝时期，黎王曾巡访多山地区。他在岛上过夜时，梦见一位白发长须的老人，自称为“岛神”。

第二天，国王将梦境告诉随从，并说道：“若真是神灵，请赐我神迹。”话音刚落，一条大鱼猛然跃上船。见此灵验之兆，国王封他为“老岛大臣王”，并下令百姓修缮庙宇供奉祭祀。

在阮朝时期，某次巡游途经岛洲时，嗣德皇帝的船突然遇到狂风巨浪。听闻当地官员禀报岛上庙宇的神圣灵验，皇帝随即登上庙宇祈祷。

奇妙的是，皇帝祈祷完后，天空突然放晴，乌云散去，海面风平浪静。嗣德皇帝随即御封他为“南海神王”。