相传东晋大将刘牢之战胜孙庸归来屯兵山上，故名胜归山。明代胡宗宪抗倭凯旋多次，屯兵于此，后人为纪念他，在山南坡凿胡宗宪像，称为“胡公岩”。明清两代及民国年间，雕凿佛像不断，艺术精湛。