罗聘的父亲罗愚溪，康熙年间曾中过举，也做过小官。罗愚溪生有五个儿子，罗聘排行第四。罗聘刚满周岁时，他的父亲就去世了。罗聘的童年是够孤苦的，但他聪明勤奋，对所读的书，几乎过目不忘。呈坎的很多村民都说，当时，罗聘读书与很多人不一样——他家境贫寒，读书首先是为了掌握谋求衣食的本领，而不是把科举之业当作首要任务。也显然是受罗氏家族及徽州“天下第一等好事，便是读书”之风的影响，所以罗聘走的是最捷径的“读书就业”之路——卖字画，更主要的是卖画。
当时扬州街头以卖画为生的“文人画家”不少，这对罗聘来说，显然是起了“率先垂范”的作用。于是他一边读书，一边学画。20岁左右时，他的书画小生意就做得很不错了。
