圣若瑟修院及圣堂由耶稣会会士兴建，当时人称之为圣若瑟楼。经过三十年经营，院舍陆续落成。修院入口大门设于三巴仔街、大门与圣堂入口成一轴线关系。圣堂的规模仅次于圣保禄教堂，因此中国人称它为“三巴仔”。