仁威观在元代就有了一些道教建筑，明永乐十年又进行了大规模的修建。和所有武当道教的宫观一样，仁威观主要有大殿、龙虎殿、灵官殿等一些主体建筑。现在这些殿堂已经被毁，人们只能从遗址上想象它当年的规模了。 仁威观建于明代，同时也毁于明代，这给人们留下了个谜。要解开这个谜，目前只能用一个传说。传说仁威观在办道时，出现了一些贪恋女色的不法之徒。他们把来上香的有些姿色的女人藏匿起来。这对道教来说，是犯了违反戒律和皇帝圣旨的大罪。当时的皇帝知道这事后，就遣锦衣卫率军进山剿杀。军队把这伙不法之徒埋入土中，用铁犁犁死，然后焚毁了仁威观，以警后世。传说的可信度如何，不得而知，但它至少说明，神也好，统治者也好，历来讲的是仁威并重，正所谓，“顺我者昌，逆我者亡”。