文人画的由来可以追溯到汉代，张衡、菜邕皆有画名。画品虽不传世但是典籍皆有所记载。魏晋南北朝时期，姚最“不学为人，自娱而已”成为文人画的中心论调。使历代文人将其尊为绘画的宗旨。宗炳以山水明志“澄怀观道，卧以游之”。充分体现了文人自娱的心态。唐代诗歌盛行，大诗人王维以诗入画。使后世奉他为文人画的鼻祖。他的绘画作品成为后世文人画家的范本。诗中有画，画中有诗。蔚然成风，代代相传。
南北宋时期出现了许多大文人，如苏轼、黄庭坚、米芾父子等，他们在王维的文人画派基础上，以书法入画，实践并发展了其水墨技巧。邓春的“画者，文之极也”等理论已将“文”与“画”紧紧的结合在一起，是系统的文人画理论，对文人画在以后的发展上启到了深远的影响。此时，苏轼提出的“士人画”概念又使文人画向更成熟迈进了一步。
进入到元代，文人画进入兴盛时期。元统治者重武轻文，导致更多的文人从事绘画。最著名的文人画家有黄公望、王蒙、倪瓒、吴镇。即后世所说的“元四家”。他们的画多表现“隐居”“高隐”“小隐”“渔隐”，以“出世成仙”的态度表达一种士大夫阶层的孤傲、空虚的情感。艺术上提倡“高雅”、“平淡天真”、“天真幽淡”，理论上主张“逸笔草草”、“不求形似”、“聊写胸中逸气”等。这一时期诗文印信也逐步正式进入画面。不但成为布局的组成部分。而且更直接地抒发作者的心声。诗、书、画、印始成一体，诗画相联，诗是无形画，画是有形诗，诗情贯注于画意之中相辅相成，这也标志这文人画形式的完善。
明代前期文人画处在继承发展时期，出现了“吴门画派”和“浙派”，沈周、文征明，戴进等是这一时期的重要代表人物。直到明代中后期身为理论家、画家的董其昌根据苏轼的“士人画”理论进一步提出画分南北宗和文人画理论，文人画的名字也正式被提出和使用。同时，作为南宗的文人画地位得到确立乃至成为中国绘画观念的最高认识。
清代到了文人画鼎盛的时期，涌现了诸多顶极文人画家，最突出的是“四僧”，“四僧”中又以八大、石涛最为突出。身为明末遗民，他们在书画中寄寓国破家亡之痛，八大笔法恣肆、放纵、简括、凝练，造形夸张，意境冷寂。石涛努力体察自然，鄙视陈陈相因，亦步亦趋的画家，主张“笔墨当随时代”，“法自我立”，面向生活“搜尽奇峰打草稿”。他的主张对后世的“扬州画派”、“扬州八怪”、虚谷、赵之谦、任伯年，吴昌硕等都起到了深刻的影响。
文人画的题材多为梅、兰、竹、菊、高山、渔隐之类，文人借描绘目之所及的自然景物写心灵感受。他们眼中的梅、兰、竹、菊、高山、渔隐，不再是单纯的自然景物而是君子的化身。梅，冲寒斗雪，玉骨冰肌，孤高自赏；兰，清雅幽香，芳草自怜，洁身自好；竹，虚心劲节，直竿凌云，高风亮节；菊凌霜而荣，孤标傲骨；山水、渔隐则不问世事，淡漠名利。借此，文人抒发他们内心当中或豪迈或抑郁的情绪。表达其自身的清高文雅，因公因私，因国因家。有陶潜的“采菊东篱下，悠然间南山”；有苏轼作直竹曰“竹生时何尝逐节生”；有吴镇自号梅花道人，言梅妻鹤子而终老；有郑思肖因亡国失土作露根兰。虽然都是儒家思想的左右和道释思想的慰籍，但是也不乏文质彬彬的浪漫。
文人画重意。杜甫讲“意匠惨淡经营中”匠心独运，可回味无穷。倪赞道“画者不过意笔草草，不求形似，聊以自娱，写胸中逸气耳”。文人画重简，无干的皆可简，甚至简到“零”，“零”既是白既是空。“计白当黑”，空、白是为了“多”，为了“够”，为了满足，空白能给人以无尽深远悠长的的感受，似“此时无声胜有声”。文人画重书，张延远在《历代名画记》中说“夫骨气形似皆本于立意而归乎用笔，故能书者皆能画”。赵孟頫诗云“石如飞白木如籀，写竹还需八法通，若也有人能会此，须知书画本来同”。柯九思论画竹“写竹杆用篆法，枝用草书法，写叶用八分法或用鲁公撇笔法，木石用折钗股，屋漏痕之遗意”。文人画重墨趣，运用墨干湿浓淡浑厚苍润的微妙变化，以单纯的墨彩概括绚丽的自然。
