Ngôi đền vốn chỉ là đình làng của một vạn chài ven biển Đồ Sơn, thể hiện sự bề thế của một cộng đồng ngư dân đi biển lâu đời, thạo nghề nổi tiếng của Bắc bộ. Sau đó, thói quen tín ngưỡng dân gian của ngư dân thường cầu cúng khi đi biển ngày càng trở thành nhu cầu thường nhật nên ngôi đình chuyển sang nơi khác và đình cũ trở thành nơi thờ tự, thường gọi là đền Vạn Chài cho đến ngày nay. Xuất phát từ tên gọi dân gian chỉ ngôi đền của vạn chài Vạn Hương (còn gọi là vụng Hương), Vạn Chài trở thành tên riêng và tiếng tăm về sự linh thiêng độ thế của ngôi đền cổ ngày càng được nhiều người biết đến. Hơn thế nữa, vào tháng 3 hàng năm, những cây gạo cổ thụ trên trăm tuổi tại đây nở hoa đỏ rực - một cảnh quan hiếm có nằm ngay trong khu du lịch biển Đồ Sơn. 

Đền Vạn Chài cho đến nay đã được xếp hạng là di tích lịch sử văn hóa của Hải Phòng, đã được trùng tu và gìn giữ. Điều đặc biệt là ngôi đền nằm cạnh một triền đồi ven biển, xung quanh có 5 cây gạo cổ thụ xếp như 5 ngón tay trên một bàn tay bọc ngôi đền vào giữa. Tương truyền, hình thế 5 cây gạo xếp theo ngũ hành tương sinh với mong cầu quốc thái, dân an, cầu thần linh che chở cho người dân đi biển. 

Người dân Vạn Hương cho đến nay vẫn chủ yếu làm nghề chài lưới, đánh bắt hải sản. Làng Vạn Hương hình thành từ những ngư dân của các tỉnh duyên hải Bắc bộ đi đánh cá qua đây, neo lại lập làng. Trong đó, có cả những cộng đồng ngư dân tứ xứ bị bão biển đánh dạt, xô vào bờ biển này. Họ sống sót và cho rằng đây chính là mảnh đất cưu mang, che chở mà mình có thể nương tựa được. Chính vì vậy, nếp sống của người dân Vạn Hương cổ xưa còn truyền lại cho đến nay vẫn mang đậm cốt cách của cư dân lúa nước pha trộn với đánh bắt hải sản vùng lộng. Họ cho rằng, cây gạo là nơi cư ngụ của thần linh nên trồng nhiều ở khu đền Vạn Chài. Trong làng, hình thái sinh sống cây đa - bến nước - sân đình và tính cố kết cộng đồng vẫn còn đậm nét. Quy ước về lối sống, quy tắc đã đưa cộng đồng ngư dân an thái qua nhiều thập kỷ.  

Theo nghiên cứu của các nhà sử học, Vạn Hương từng có một bộ phận dân làng từ Thái Bình đi đánh cá bị bão dạt vào Đồ Sơn. Họ quyết định ở lại đất này, mang theo tục thờ Tứ vị Thánh Nương chính là tứ diện thánh linh sau này được thờ phụng trong đền Vạn Chài. Đây là 4 vị thánh được người đi biển phụng thờ như vị thần ở cửa sông biển. Sở dĩ sử học có thể đưa ra nguồn gốc tục thờ này là hiện nay, việc thờ Tứ vị Thánh Nương vẫn còn rất phổ biến ở nhiều làng Việt duyên hải ven biển và các làng ven sông đồng bằng Bắc bộ. Một giả thuyết nữa được đưa ra về gốc gác cư dân làng biển Vạn Chài là những người Nghệ An di cư đến đây cũng xuất phát từ thực tế là ngôi đền lớn nhất thờ Tứ vị Thánh Nương chính là Đền Cờn hiện ở Nghệ An. 

Vào mùa hoa gạo đỏ, Đền Vạn Chài đỏ rực cả vùng trời, vùng đất và vùng biển vì hoa gạo nở rộ và rụng rơi. Đây cũng là thời điểm mà các nghệ sĩ, họa sĩ, những nhà sáng tác bỏ công đến tận nơi chiêm ngưỡng cảnh quan hiếm có này. Khu vực Bến Thốc của phường Vạn Hương là eo biển lộng gió, là vị trí trung tâm của dã núi hình rồng lượn. Đền hướng Đông Bắc nhìn ra biển, lưng tọa sơn. Đất đai khuôn viên của đền rộng rãi, cảnh sắc thiên nhiên hùng vĩ, núi, biển cận kề. 

Khuôn viên đền Vạn Chài bảo tồn 5 cây gạo, có tuổi trên trăm năm, mang ý nghĩa tên ngũ cốc nuôi sống con người, biểu tượng cho sự sinh sôi, phát triển, thịnh vượng cho người dân nơi đây. Ngược dòng lịch sử, đền Vạn Chài được xây dựng vào giữa thế kỷ 19, sau khi đền được xây dựng xong, người dân Vạn Chài, Đồ Sơn được mùa đánh bắt hải sản ba năm liền. Cá tụ về đầy bến Vạn Thốc, Đồ Sơn. Trong thời gian chống Pháp, đền Vạn Chài, Đồ Sơn từng được trưng dụng là nơi hoạt động của lực lượng Việt Minh, nơi hội họp học tập, tuyên truyền đường lối, chính sách của Đảng. 

Đền Vạn Chài cũng có thời gian là địa điểm bình dân học vụ của con em ngư dân biển Đồ Sơn. Trải qua thăng trầm của lịch sử và hai cuộc chiến tranh, đền Vạn Chài vẫn được nâng niu, gìn giữ và trùng tu rất nhiều lần, không khí linh thiêng vẫn còn đó. Người dân đón mùa hoa gạo bằng lễ hội đền hàng năm, ở đó họ có thể tổ chức lễ rước nước, rước kiệu xuống thuyền chạy ra biển theo hướng Cát Bà, lấy nước sạch ở biển rồi chạy về ngôi đền, rước vào đền làm lễ mộc dục. Đặc biệt, lễ hội có lễ phóng sinh tôm cá thể hiện mong ước hải sản ở Biển Đông luôn sinh sôi nảy nở, ngư dân sẽ có những mùa biển no ấm, đủ đầy và nghề cá lâu đời với tinh hoa đúc kết từ trăm năm sẽ còn nuôi sống nhiều con dân miền biển.  

Lễ hội đền Vạn Chài không chỉ có phần lễ, còn có phần hội tổ chức những trò chơi dân gian như thi bơi thuyền rồng giữa các vạn chài trong vùng. Ngày nay, nhân dân địa phương đang từng bước khôi phục lại những nét sinh hoạt văn hóa hội lễ truyền thống. Họ mong muốn những nghi lễ mang tính tâm linh và neo giữ tinh thần mình được phục dựng lại đúng quy mô và xứng đáng với một cộng đồng dân cư đông đúc ngay cửa biển. Đó mới chính là việc tôn vinh nghề biển ở một vùng dân cư vốn tự hào về nghề biển đã lâu đời.

Thụy Văn