遐昌阁坐落在城东万寿宫内，背后东岭挺秀，前面沱水东流，环境旖旎雅致。阁楼建于清朝咸丰四年（1854年），为六方木质阁楼式结构，共三层，高20米。阁以抬梁式大木结构为主体，阁内12根大柱支顶，一层一檐，逐层向内收缩，似塔而非塔，造型独具匠心。 遐昌阁内部装修古色古香，下层花窗门6扇，上有各种花鸟鱼虫和人物浮雕。正门额匾书“览胜舒怀”，侧门额匾题“正气生辉”，内顶天花有“龙凤戏珠”图案。内前柱刻联云：一阁临江，南华来对面；万山朝凤，东岭在当头。后柱有长联一副云：登杰阁，瞰沱江，看清河荡漾，载将乡土情谊，汇入湖海波涛，缠绵萦绕台湾岛；望江城，钟剑气，喜林壑幽深，孕育民族节概，驰骋文坛疆场，荟萃风云武陵山。