O antigo Seminário de S. José foi fundado em 1728 e a igreja contígua construída em 1758. O Seminário, juntamente com o Colégio de S. Paulo, constituiu a base principal do trabalho implementado pelos missionários na China, no Japão e na região, a partir de Macau. Esta igreja e as Ruínas de S. Paulo são o único exemplo de arquitectura barroca na China (tal como é referido na publicação, Atlas mundial de la arquitectura barroca, da UNESCO) de 2001. No interior da Igreja, num dos altares laterais, encontra--se uma das relíquias mais preciosas de Macau, um pedaço de osso do braço de S. Francisco Xavier, que anteriormente fazia parte do espólio da Igreja da Madre de Deus (Ruínas de S. Paulo). O currículo académico do Seminário de S. José era equivalente ao de uma universidade e, em 1800, a Rainha D. Maria I conferiu a esta instituição o título real de "Casa da Congregação das Missões".

A fachada da igreja mede 27 m de largura por 19 m de altura máxima. Um arco quebrado, típico da arquitectura barroca, encima a entrada principal da igreja. O frontão curvo apresenta a insígnia dos jesuítas ao centro. A fachada apresenta uma decoração de estuque em relevo, destacando--se os motivos pintados a branco sobre o fundo amarelo da parede. A planta da igreja segue o modelo da cruz latina, com o seu eixo a medir 16 por 27 m. Os seus três altars encontram-se ricamente ornamentados, incorporando frontões sustentados por dois conjuntos de quatro colunas em espiral, decoradas com motivos em talha dourada. O coro-alto é suportado, na entrada da igreja, por quatro colunas salomónicas, típicas do estilo maneirista, um movimento que teve grande influência na arquitectura europeia, particularmente na concepção de igrejas anteriores ao período barroco. A cúpula central mede 12,5 m de diametro e eleva-se até uma altura máxima de 19 m, sendo decorada com três níveis de dezasseis clerestórios; os do nível superior são fechados, enquanto que os dos níveis inferiores servem para ventilação.

Em contraste com a arquitectura exuberante da Igreja de S. José, o Seminário é um edifício simples, neoclássico, que inclui um claustro. As paredes do edifício, construídas primeiramente em tijolo cinzento, são suportadas por fundações em granito. A sua compartimentação interior está organizada de forma tradicional, com dois corredores largos estendendo-se ao longo de 80 m, que dão acesso às várias salas de aula.