Truyền thuyết kể rằng, vào thời Trần, sau trận thủy chiến Bạch Đằng năm 1288, ngư dân đã phát hiện thi thể một vị tướng nhà Trần trôi dạt vào đảo. Hôm sau, người dân ra đảo làm lễ mai táng ông.

Kỳ lạ thay, tại nơi vị tướng nằm, mối đùn lên thành một nấm mộ. Cho rằng đây là điềm ứng, dân làng lập miếu tranh để phụng thờ. Về sau, họ thường thấy vị tướng hiển linh thành ông già râu tóc bạc phơ. Ngư dân tôn kính gọi ngài là “Cụ” từ thuở ấy.

Tương truyền, thời Hậu Lê, vua Lê từng đến kinh lý vùng Đồ Sơn. Ông nghỉ đêm trên đảo và mơ thấy một ông lão râu tóc bạc trắng tự xưng là “Thần Đảo”.

Hôm sau, vua kể lại giấc mơ cho tùy tùng và phán rằng: “Nếu là Thần linh hãy cho ta ứng báo”. Khi vua vừa dứt lời, một con cá lớn quẫy mạnh nhảy lên thuyền. Thấy linh nghiệm, vua phong ngài là “Lão đảo Đại Thần Vương” và truyền chỉ dân tu sửa đền để phụng thờ.

Thời nhà Nguyễn, trong một dịp kinh lý ngang qua đảo Dấu, thuyền của vua Tự Đức bất ngờ gặp sóng to, gió lớn. Nghe các quan lại địa phương bẩm tấu về sự linh thiêng của ngôi đền trên đảo, vua liền lên đền khấn vái.

Thật lạ kỳ, sau khi nhà vua khấn xong, bỗng nhiên trời quang mây tạnh, gió yên biển lặng. Vua Tự Đức liền sắc phong cho ngài là Nam Hải Thần Vương.