在五十至六十年代時塔門最為繁盛，不下幾百艘漁船聚集，島上熙來攘往，好不熱鬧，商店食館林立，其門如市，一片繁榮景象。當時盛產[[鮑魚]], 徒手潛入水底，每日也可捕得三至五斤, 塔門鮑魚以肥美爽口見稱，現在由於捕捉者多採用潛水器具，無論大小都無一倖免，幾成絕產 。據了解，全盛時期，島上有約二千人居住 。

島上分為三條村(街坊村、漁民新村、榕樹村), 隸屬大埔西貢北約鄉事會，設有村公所、學校、警崗、青年會會所。天后古廟建造於明末清初。塔門村民，多以農耕、營商及捕魚為業，於捕魚為業者亦因魚穫近年減少，青年人多已轉行換業，多到市區另找工作，引致兒童亦往市區就讀，島上學校最終也停辦了 。 ， 現時島上留下幾十位老年人 ，。