西嶼外垵從清代起便是台灣、廈門航線上的重要目標。清乾隆43年1778年，時為了航海者的安全，村落西側建起一座5丈高的石燈，上面立有7尺高的浮屠，以為海上標誌；道光8年1828年，改建為燈塔，當時命名 “西嶼燈” 。光緒元年1875年，又改建為西式燈塔，即今日所建之面貌；建好時，塔高3丈8尺，造型為圓柱狀，鐵造塔身漆成白色，改稱為漁翁島燈塔。

由外垵村後方上坡而行，走到崖端處即為燈塔所在；白色塔身映襯著如茵綠草，景致清新。燈塔前豎立著一座清乾隆43年的碑記，碑旁有幾門小砲，塔旁則闢有展覽室，展示燈塔沿革歷史、圖片；循著旋梯登臨塔上，遠眺浩瀚汪洋與飛濺的浪花。因為旁邊是軍營，拍照時請注意勿將鏡頭對著軍營方向，以免阿兵哥出面干涉。