罗聘的父亲罗愚溪,康熙年间曾中过举,也做过小官。罗愚溪生有五个儿子,罗聘排行第四。罗聘刚满周岁时,他的父亲就去世了。罗聘的童年是够孤苦的,但他聪明勤奋,对所读的书,几乎过目不忘。呈坎的很多村民都说,当时,罗聘读书与很多人不一样——他家境贫寒,读书首先是为了掌握谋求衣食的本领,而不是把科举之业当作首要任务。也显然是受罗氏家族及徽州“天下第一等好事,便是读书”之风的影响,所以罗聘走的是最捷径的“读书就业”之路——卖字画,更主要的是卖画。
当时扬州街头以卖画为生的“文人画家”不少,这对罗聘来说,显然是起了“率先垂范”的作用。于是他一边读书,一边学画。20岁左右时,他的书画小生意就做得很不错了。