米芾一生非常喜欢把玩异石砚台，有时到了痴迷之态。据《梁溪漫志》记载：他在安徽无为做官时，听说濡须河边有一块奇形怪石，当时人们出于迷信，以为神仙之石，不敢妄加擅动，怕招来不测，而米芾立刻派人将其搬进自己的寓所，摆好供桌，上好供品，向怪石下拜，念念有词：我想见到石兄已经二十年了，相见恨晚。此事日后被传了出去，由于有失官方体面，被人弹劾而罢了官。但米芾一向把官阶看的并不很重，因此也不怎么感到后悔，后来就作了《拜石图》。作此图的意图也许是为了向他人展示一种内心的不满。李东阳在《怀麓堂集》时说：“南州怪石不为奇，士有好奇心欲醉。平生两膝不着地，石业受之无愧色。”这里可以看出米芾对玩石的投入与对傲岸不屈的刚直个性。大有李白“安能摧眉折腰事权贵，使我不得开心颜”的情怀，并开创了玩石的先河。
拜石这一事件，给了我们一个疯疯癫癫的米芾，但是事实上他并不是真疯，而是真正的大智若愚，这从他的很多实例上都可以看出，米芾的书法造诣很深，徽宗很喜欢他的书法，经常招他进宫写字，有一次他给皇上写完字后，非常喜欢皇上的御用砚台，便对徽宗说：“皇帝的砚台不能给庶民用，而如今皇帝的砚台被我用过了，臣子是低等的，既然这砚台已经被我玷污了，皇上就送给我吧”。皇帝很不舍得的刚把好的说出口，米芾害怕皇帝后悔，抓着砚台就揣在怀里跑了，墨水都没来得及洗，搞得全身是墨水。此外，米芾也是一个关心国家的人，他装傻并不是完全为了保护自己让自己得到利益。这就要说到他拜石的真正“内幕”了，石头质地坚固、脆硬，由于这一品质，它出如今画家的画笔下，被画家所爱也是情理之中的，但是米芾能疯到见石就拜还是值得怀疑的，那为什么只有在无为有记载说他认石为兄，《名画的创造者》是这样说的：“米芾知无为军后，为官清正，但是他的上司知州则是一个搜刮民财的老手，把地方百姓搞得民怨鼎沸，人们给他起了个外号叫面老鼠，米芾非常瞧不起这位知州大人，与其没有私人交往，但是，按照宋朝的规矩，每逢单日就要到州衙去参拜州官。这使米芾很不舒坦。想来想去，米芾想了个办法。平口米芾喜爱收藏，也收集了一些奇石异物。他让自己的书僮秦礼摆上那些石头和异物，自己穿上朝服，对石头拜了几拜。米芾拜石的时候，嘴里还念念有辞“我参拜无知的石头，因为石头是干净的，也不拜你肮脏的面老鼠。”米芾拜过石头后，心情好受了许多，然后再到州衙去议事。从这儿以后，米芾每逢单日，就参拜石头”。
