Antes da construção do Palácio, o Jardim Yuanmingyuan já havia sido construído e qualificado como o "jardim dos dez mil jardins". Em 1744, no epílogo de uma obra sobre Yuanmingyuan, o imperador Qianlong advertiu seus descendentes para que não o abandonassem para construir outro. Porém, vários anos depois, ele começou a construir o Jardim Qingyiyuan, posteriormente convertido no Palácio de Verão.

Qianlong foi o quarto imperador da Dinastia Ming (1368-1644). O seu mandato foi marcado por um período de plena prosperidade. Ele fez seis viagens ao Sul do Império chinês, tendo apreciado muito os jardins clássicos do sul da China, pois os do norte, em geral, não contavam com elementos completos da natureza como água ou montanhas. Foi por isso que ele escolheu a região do subúrbio oeste da Capital para construir o Palácio, pois ali se encontra a encosta de uma montanha voltada para um lago.

Em 1750, sob o pretexto de homenagear a imperatriz mãe, ele mobilizou carpinteiros e construtores e investiu um sétimo da receita total da corte para iniciar o projeto do jardim Qingyiyuan. Depois de 15 anos, em 1764, o jardim Qingyiyuan foi concluído. Porém, em 1860, os invasores das tropas anglo-francesas o destruíram, assim como o jardim Yuanmingyuan. Mas, em 1888, quando a imperatriz mãe tomou o poder, começou a reconstrução e passou a se denominar Palácio de Verão.

Ele possui uma superfície de 290 hectares, das quais três quartos são cobertos por água. Todo o jardim é dividido em 3 setores: administração imperial, residência e paisagens.

O setor administrativo encontra-se na zona leste, logo depois de sua entrada. O Palácio Renshou é o principal com o sentido de Benevolência e Longevidade. Dos dois lados do Palácio Renshou, estão as salas para funcionários de plantão da Corte. A construção é muita bem ordenada, mas não é tão imponente como o Palácio Imperial.

Depois do setor administrativo, encontra-se a zona residencial. O Pavilhão Yulan foi a residência do imperador Guangxu. Porém, em 1898, quando frustrado o movimento reformista de 1898, também se tornou o lugar de sua detenção. Outro pavilhão contíguo com Yulan é Yiyun, que servia como biblioteca. Atrás de Yiyun, foi o pavilhão Leshou onde residia a imperatriz Cixi que gostava muito do Palácio de Verão, especialmente nos últimos tempos de sua vida, onde permanecia desde abril até outubro. Trata-se do melhor pavilhão do jardim, tanto de sua localização como de outras condições. Do Pavilhão Leshou, pode-se chegar fácil ao Teatro, no lado leste e ao longo corredor, no lado oeste, e subir o templo para apreciar toda natureza e paisagem do jardim.

Uma plena harmonia entre a natureza e obras de construção é essencial na cultura da jardinagem chinesa.

A montanha Wanshou, parte principal do Jardim era cercada por lagos e fontes de montanhas Wonshan. Ao iniciar o projeto, foram ampliados os lagos originais, tendo formado um de todo com o nome do Lago Kunming. Acrescentou depois um dique no lago para barrar a água, a fim de elevar o seu nível. Por outro lado, com lodos tirados do lago tinha sido robustecida a montanha original onde foram construídos depois pavilhões e o Templo Foxiang. Quando A imperatriz mãe batizou a montanha com o nome de Wanshou, no sentido de uma vida de 10 mil anos, durante as comemorações de seu 60º aniversário.