纽扣博物馆的所在地原是一大户人家的住宅：薛宅。此宅建于民国1927年，依街傍河，共两进深，与传统建筑相比，薛宅的建筑紧凑、结构简洁、厅堂明亮，是江南传统民居向现代建筑转型过程中的代表。