孔子曰：“知者乐水，仁者乐山。”(《论语·雍也》)所谓“知者”，就是智慧之人;“仁者”则是仁义之人。为什么说“知者乐水，仁者乐山”?朱熹的解释是：“知者达于事理，而周流无滞，有似于水，故乐水。仁者安于义理，而厚重不迁，有似于山，故乐山。”(《论语章句集注》)原来，知者、仁者的品德情操与山水的自然特征和规律性具有某种类似性，因而产生乐水乐山之情。“众鸟高飞尽，孤云独去闲。相看两不厌，只有敬亭山。”(《独坐敬亭山》)这是李白游山的观感，也是他和山契合交融达到了化境，高蹈出尘，借以保持自身人格的独立完善的体现。他在被召入京期间，宾朋云集，红极一时;而当受排挤离京以后，则倍受冷落，于世态的炎凉深有体味，因此也更加认识到山水的可亲可敬。

　　古文学的任何一个分支的发展都可以在先秦找到渊源，先秦时代的诗歌(如《诗经》和《楚辞》)中，有些描写山水风景的诗句，如“昔我往矣，杨柳依依;今我来归，雨雪霏霏”可以说是思乡的源泉，也可以说是山水的起源，但处于内容的从属地位，并未当作独立的审美对象来歌咏。直到汉末建安时期，才出现了中国诗歌史上最早的一首完整的山水诗，这就是曹操所写的四言诗《观沧海》：“东临碣石，以观沧海。水何澹澹，山岛竦峙。树木丛生，百草丰茂。秋风萧瑟，洪波涌起。日月之行，若出其中;星汉灿烂，若出其里。幸甚至哉，歌以咏志。”但这类诗当时不多见。到了陶渊明进一步发扬光大，一语天然万古新，“豪华落尽见真醇”的语言，清新自然的风格，悠然见南山的情调显示了魏晋风流的独特。

　　中国古典山水诗究竟源于何时?近人范文澜说：“写作山水诗起自东晋初庾阐诸人”(范校本《文心雕龙·明诗》注)。这话不无根据，写作山水诗形成一种潮流，一种时尚，的确是在东晋时期，《兰亭集》就是一个突出的例证。

　　东晋穆帝司马聃永和九年(353)三月三日，大书法家王羲之和当时的名士孙统、孙绰、谢安、支遁等共41人，以“修禊”为由，聚集会稽(今浙江绍兴市)兰亭，游宴于崇山峻岭、茂林修竹和清流激湍之间，当场写作了不少模山范水、畅叙幽情的诗篇，后编纂成集，由王羲之作序，为之张扬，以致影响深远。其时，由于玄学之风的影响，东晋散文除陶渊明外，别无名家。但诗集、序文相得益彰，王羲之的《兰亭序》，又可说是一篇佳作。

　　晋宋时代，江南的农业有较大的发展，士族地主的物质生活条件比过去更加优裕了，园林别墅更多地建筑起来了，士族文人们在优裕的物质条件下和佳丽的江南山水环境中过着清谈玄理和登临山水的悠闲生活。在他们的清谈中，常常出现一些发挥老庄自然哲学来赞美江南山水的名言隽语。由于这种风气的影响，当时流行的玄言诗里也开始出现一些山水诗句，作为玄学名理的印证或点缀。东晋著名的玄言诗人孙绰讽刺人的时候说：“此子神情都不关山水，而能作文?”(《世说新语·赏誉篇》)可见玄言诗和山水诗本来就有共同的阶级生活基础和共同的思想基础，玄言诗中本来就包孕着山水诗的成分。

　　当然，“平典似道德论”的玄言诗，即使点缀上几句呆板的山水诗句，也无法改变那种枯燥无味、令人生厌的面目。直到东晋后期，出现了谢混《游西池》等少数集中力量刻画山水景物的诗篇，才开始给玄言气氛笼罩着的士族诗坛带来了一点新鲜的空气。到刘宋初期，谢混的侄子谢灵运继续从这个方向去开拓诗境，大量创作山水诗，在艺术上又有新的创造，终于确立了山水诗在士族诗坛上的优势地位。于是，山水诗就由附庸蔚为大国，而玄言诗则由大国降为附庸。虽然这基本上只是题材和艺术上的革新，但在诗歌发展史上究竟前进了一步。