灵山庵相传原为宋元税务机构，明代撤消，成为抗倭名将胡宗宪等几代少年读书、练武之场所。后因风水先生说该地势险峻、状如木鱼，宜佛不宜武，故明嘉靖后期辟为庵堂。灵山庵三个大字镶钦在门楣上，当各位游客走进庵堂时，一定要跨过门槛，因相传门槛代表菩萨的肩膀，以示对佛的尊重。这座在县志上记载438年历史的庵堂，在较早的石碑上刻有捐助者的姓名。可惜在十年浩劫中毁于一旦。后在2000年在旅游局、宗教局及航佳集团的倡仪下重新修复。