Em 1682, o imperador Kangxi partiu para sua temporada de caça anual que realizava no outono em Mulan, comandando pessoalmente um exército de dezenas de milhares de soldados. A caça durava entre três e cinco meses e precisava de uma residência temporária. A caça era nominal. Visava os exercícios militares e mostrar a força militar da dinastia Qing, como uma ação ameaçadora, aos grupos étnicos que viviam além da Grande Muralha e fortalecer a sua administração.

Em 1708, o imperador Kagnxi passou sua primeira temporada na Residência de Veraneio. Depois, passou a se fixar ali quase seis meses por ano. Os imperadores que sucederam Kangxi como Qianlong e Jiaqing também passavam grandes temporadas no palácio. Além dos negócios cotidianos governamentais, os imperadores tinham um outro trabalho especial: fortalecer as relações com as minorias étnicas.

Nos séculos 17 e 18, freqüentemente a epidemia de varíola atingia a China. Muitos príncipes e nobres da etnia Mongol tinham medo de vir ir a Beijing para as audiências imperiais. Um édito real foi publicado permitindo que os príncipes e nobres mongóis não imunes à varíola fossem recebidos em audiência pelo imperador em Chengde. A partir da época, os nobres mongóis assim como nobres de outras minorias étnicas se reuniram no verão na Residência de Veraneio, enquanto o imperador estava ocupado em manter encontros e conceder no palácio os títulos, nomeações e banquetes aos nobres.

Em agosto de 1780, o sexto Panchen Lama, líder político e religioso no Tibet, foi felicitar o imperador Qianlong pela passagem de seu 70o aniversário. Na festa, o imperador Qianlong convidou o Panchen Lama para subir ao trono perante os príncipes mongóis, mandarins imperiais e enviados estrangeiros, o que representava a máxima honra dada por um imperador da dinastia Qing a um líder do grupo étnico minoritário.

Em conformidade aos costumes religiosos das etnias Mongol e da etnia tibetana, foram construídos 12 templos lamaistas ao leste e ao norte da Residência de Veraneio. Dois foram construídos durante o reinado do imperador Kangxi e dez durante o reinado do imperador Qianlong. Os doze templos são chamados habitualmente como "templos exteriores".

Os templos são magníficos. Eles possuem telhas envidraçadas e douradas, em contraste com a Residência Imperial de Veraneio, cuja estrutura é de tijolos e telhas cinzentas.

Pessoas comuns eram proibidas a entrar em alguns dos templos exteriores. Mesmo para os funcionários, existiam estipulações rigorosas sobre até qual parte destes templos era aberta aos funcionários de determinadas hierarquias. A posição e a projeção dos templos eram totalmente decididas pelos imperadores e muitas placas e estelas trazem suas inscrições. Estas inscrições recordam as razões pelas quais foram construídos os templos: o Templo Puning, ou Templo da Paz Universal, foi construído em memória ao grande encontro entre o imperador Qianlong e os chefes de quatro tribos da etnia Mongol; o Templo Xumi Fushou, ou Templo da Longevidade e Felicidade, foi construído como a residência do Panchen Lama; o Templo Anyuan, ou Templo da Estabilidade Eterna, foi construído para comemorar um édito imperial que permitiu a tribo de Dashi Dawa, uma facção da etnia Mongol, a instalar-se em Chengde; o Templo Pule, ou o Templo da Felicidade Universal, foi construído em honra de algumas tribos das etnias Cazaqui e Mongol, que se submeteram à autoridade do governo central... Os templos testemunham a unidade dos grupos étnicos chineses e a unificação do país.

O auge da Residência Imperial de Veraneio de Chengde e os templos exteriores se perdeu após o falecimento do imperador Qianlong. Este passou 59 temporadas no palácio. Os imperadores depois de Qianlong, no entanto, se afastaram pouco a pouco da Residência de Veraneio. Em 1898, à ordem da imperatriz-mãe Cixi, o governo deixou de destinar verbas para a manutenção da Residência em Chengde.

Em 1994, a Residência Imperial de Veraneio de Chengde e os templos ao seu redor foram tombados como patrimônio cultural mundial.