在宋代，这里住着一个异常的人，他绝粒不食，在这鸟兽很难往来的万仞石壁上却步履如飞，行走如履平地。有人问他姓名，他只回答“谢天谢地”。人们就把这个地方叫“谢天地岩”了。