No vale do Pico Wulaofeng, encontra-se a Academia da Caverna do Veado Branco, uma das mais antigas e famosas instituições de ensino da antigüidade chinesa. Foi Zhu Xi, um dos maiores eruditos do confucionismo na dinastia Song (960 - 1279), quem contribuiu muito para a fundação da Academia.

Zhu Xi sintetizou as filosofias da escola confuciana da dinastia Song e levou o confucionismo para uma nova fase. Até 1905, suas interpretações sobre os clássicos do confucionismo eram os livros manuais compulsórios para os intelectuais que queriam entrar na carreira de funcionários estatais através dos exames imperiais. Zhu Xi se dedicava ao ensino por mais de 50 anos quando as academias de ensino eram prósperas. Quando ele chegou em Lushan em 1179 para assumir um cargo oficial, a Academia da Caverna do Veado Branco já tinha se arruinado. Ele reconstruiu a academia, comprou terrenos para que os eruditos fizessem trabalhos agrícolas nas horas de folga, compilou os manuais, determinou os currículos escolares e convidou famosos eruditos para lecionar. Recolheu ainda grande quantidade de livros clássicos fundando uma biblioteca. Como resultado de seus esforços, muitos eruditos chegaram de todo o país e a Academia tornou-se famosa como a melhor no país. Os objetivos, os requerimentos, os conteúdos e a metodologia de ensino estabelecidos por Zhu Xi na Academia eram seguidos por eruditos das gerações posteriores. A Academia passou depois por seus períodos de prosperidade e de declínio durante centenas de anos até os meados do século 19 quando foi abandonada.

O período entre o século 4 e o século 13 foi marcado pela prosperidade da montanha Lushan quando existiam aqui mais de 500 templos budistas e taoístas. Mesmo no período menos próspero, havia até uns 300 templos. Diferente a outras montanhas famosas, a montanha Lushan tinha um ambiente acadêmico e cultural. Com a fundação da Academia da Caverna do Veado Branco, ela tornou-se a montanha dos intelectuais da China.

Eruditos ou literatos chineses escreveram sempre sobre as montanhas e os rios para exalar seus sentimentos e muitos deles faziam amizade com monges quando sofriam frustrações na sua carreira política. A montanha Lushan era seu asilo sagrado favorito. O poeta da dinastia Tang, Li Bai, gostava muito do taoísmo. Outro poeta da dinastia Tang, Bai Juyi, adorava o temperamento nobre do poeta Tao Yuanming. Li Bai e Bai Juyi tiveram planos de construir suas casas cobertas de colmo para levar uma vida ermitã na montanha Lushan e isso aconteceu também com Zhu Xi, quem costumava agir de maneira mais prática.

Poetas chineses escreveram muito sobre várias montanhas. De todos os poemas, só aqueles sobre a montanha Lushan são famosos. O poeta Su Shi da dinastia Song escreveu um poema no muro do Templo do Bosque Oeste dizendo:

Vista horizontalmente, ela é uma cordilheira; e verticalmente, um pico.

E as alturas são completamente diferentes ao longe ou ao perto.

Não posso reconhecer seu verdadeiro rosto, porque

Eu é que estou na montanha.

Depois de sua excursão ao Templo do Grande Bosque, o poeta Bai Juyi da dinastia Tang escreveu:

Por quatro meses no mundo

As flores murcharam já.

Mas no templo montanhoso os rebentos de pessegueiros

Apenas começam a desabrochar;

Lamentei a perda da primavera,

E não pude encontrá-la em qualquer lugar.

Ignorante, encontrei-a aqui.

Hoje em dia, vêem-se ainda o Templo do Bosque Leste e a Academia da Caverna do Veado Branco, mas do Templo do Jianji restam apenas as ruínas. No entanto, há muitas mansões no Monte Guling. Em fins do século 19, missionários estrangeiros começaram a construir suas mansões aqui. Estima-se que há mais de 600 mansões de estilos de 18 países. Igrejas católicas e cristãs, capelas ortodoxas e mesquitas islâmicas juntam-se com as mansões.

O Comitê do Patrimônio Mundial da UNESCO disse em 1996: os templos budistas e taoístas assim como a Academia da Caverna do Veado Branco que representa a filosofia idealista do confucionismo, se combinam de maneira singular com a paisagem extremamente pitoresca. A paisagem é do valor estético mais alto e bem integrada com o espírito da nação chinesa e sua vida cultural.