金农死后，罗聘入京卖画，大名鼎鼎的《鬼趣图》便是罗聘那时创作的。在创作了《鬼趣图》后罗聘名声鹊起，这自然会招来部分人的嫉恨，所以当时就有一位罗聘的老乡、大盐商出身的程晋芳劝他：“斯图即奇特，洗手勿轻试。”说掩饰得再巧妙，终究会弄出麻烦来的，于是劝罗聘金盆洗手，赶紧回家。当年秋，罗聘就打点行头，南下回乡。
回到家乡，罗聘依旧干他的老本行——卖画。其间，他经常抽空远游，中原地带，他几乎跑了个遍。家中之事，他似乎从来不关心。乾隆四十四年（1779）5月初，罗聘第二次进京。临行时，他的妻子方婉仪正患病卧床，但这位画家还是动身了。“怪人”就是“怪人”，罗聘一路走，一路玩，直到8月才进京。这时，他从一个由家乡来京的老乡处得知，他的妻子方婉仪已于5月19日在扬州病逝了。
罗聘的行为怪异，但他的内心却是善良的。妻子方婉仪是他“艺术上的同道伴侣，生活上的贫贱夫妻”，跟着他一辈子，一直过着清贫艰苦的日子。如今，突然撒手而去，让身在外地的罗聘又悲又愧。当时，罗聘正身居古庙，身无分文，欲回不能。百般无奈时，他亲手抄录了妻子写的一首诗，然后送给一名当朝显贵，希望能博得他的一点施舍，但事与愿违，他无法弄到回家的路费。又挨了几个月，罗聘终于凄凉地回到扬州。
这一场人间冷暖的切身体会，使得罗聘对他的《鬼趣图》主题认识更深刻了。他也从此不再画鬼，而改画佛了。10年后，年近花甲的罗聘三上京城。这时，他已是画界知名的大师了。他刚刚住定，一些风雅的士大夫便登门不歇，求索画作，甚至一些在京的朝鲜人也携重金来买他的画。收入多了，他的豪兴也随之而生，游名胜，买古董，挥金如土。8年后，他带着小儿子准备回乡时，居然又没了路费！有人知道他要回乡，便上门来讨债，原来，他不仅把卖画挣来的大把钞票给花了，还欠了一些债务。没办法，罗聘只好卖衣服，但衣服卖尽了，债务还偿不清！直到嘉庆三年(1798)，扬州一位做盐运使的朋友闻讯，才资助罗聘的大儿子赶到京城，把父亲和弟弟接回扬州。回到扬州的第二年，这位“画名甚高而生活甚苦”的画家与世长辞，享年67岁。
