米芾旧有《山林集》一百卷， 具有较高的文学价值， 在当时颇有影响。
最早给予米芾文学以较高评判的是苏轼， 米芾也喜欢把自己的诗文寄给苏轼看。但苏轼对米芾的文学也有逐渐深入了解的过程， 他开始并没有给予多的赞誉。现存苏轼给米芾写的尺牍共二十八篇，早期的几篇或与文学无关， 或仅是出于礼貌而泛泛称赞其文学作品， 如他在翰林时的《与米元章尺牍 (二) 》说：“示及数诗， 皆超然奇逸， 笔迹称是， 置之怀袖， 不能释手。异日为宝， 今未尔者， 特以公在尔！”其中虽有一句赞米芾诗“皆超然奇逸”, 但真正令苏轼爱不释手的是“笔迹称是”, 即书法好， 此信后面还有句“临古帖尤奇， 获之甚幸” 。
他开玩笑地说：这些诗将来应是宝物， 现在之所以没人看重， 是因为你还在人间呵！这也说明当时米芾还没有文名。米芾到京后， 苏轼又与其第四篇尺牍， 称：“二小诗甚奇妙， 稍闲， 当和谢。”篇后还是说了句“三本皆妙迹”, 主要仍是在赞米芾的书法妙。第六篇提到了米芾的铭文：“惠示殿堂二铭， 词翰皆妙， 叹玩不已。新著不惜频借示。” 此篇只赞其文学， 不再连带赞其书法， 说明苏轼已开始注意到了米芾诗文的价值， 但他还想进一步了解， 要米芾有新文章就送给他读， 意在鼓励米芾继续创作更多更好的文学作品。
此后米芾寄给苏轼的诗文逐渐多起来。苏轼第八篇尺牍说“太师雄篇已领”, 所指应是米芾的《太师行寄王太史彦舟》, 此诗所写有关古画鉴别。第九篇是苏轼请求外任时写的， 说：“重辱新诗为送， 词韵高雅， 行色增光， 感服不可言也。”第十一篇是为感谢米芾送行写的， 说：“佳篇辱贶， 以不作诗故， 无由攀和。”第十五篇是赴定州时写的， 说“新诗文寄示， 幸甚” 。第十六篇说“又蒙惠诗， 欲和答， 竟无顷刻暇， 愧负可量。”第十九篇说：“并惠新诗， 足为衰朽光荣， 感慰之极。”这段时间， 苏轼读了不少米芾的文学作品， 了解渐深。
相隔近十年， 当苏轼晚年北归时， 米芾文学造诣渐深， 苏轼对米芾文学的认识有了质的变化。第二十一篇说：
两日来， 疾有增无减， 虽迁闸外， 风气稍清， 但虚乏不能食， 口殆不能言也。儿子于何处得《宝月观赋》, 琅然诵之， 老夫卧听之未半， 蹶然而起。恨二十年相从， 知元章不尽。若此赋， 当过故人， 不论今世也。天下岂常如我辈愦愦耶？公不久当有大名， 不劳我辈说也。愿欲与公谈， 则实未能， 想当更后数日耶？
苏轼平生对文人才士特别爱赏， 至老不衰。他说近二十年与米芾交往， 对他还知之不尽， 盖因长期对米芾书画才能更重视， 忽略了他的文学才能， 当听到了米芾的《宝月观赋》后， 觉得写得太好了， 虽卧病在床， 却跃然而起， 想立即与他促膝长谈。欣喜之状， 溢于言表。该信中提到的《宝月观赋》, 又称《宝月赋》、《宝月庵赋》, 现已遗佚， 明董其昌云：“子瞻称其《宝月赋》, 以为知元章不尽， 乃曾无一本传世， 何也？” (《画禅室随笔》)
在重病中， 苏轼仍关注米芾的文学创作， 在与米芾的第二十四篇说：“示及古文， 幸甚！”而此后的第二十五篇则对米芾其人、其字、其文学都作了最后的总结和评价：
岭海八年， 亲友旷绝， 亦未尝关念。独念吾元章 (米芾) 迈往凌云之气， 清雄绝俗之文， 超妙入神之字， 何时见之， 以洗我积年瘴毒耶？今真见之矣， 余无足言， 不一一。
此时苏轼已经病重， 数日后米芾入京上计， 前来告辞， 苏轼强起送行， 相别闸屋之下。几天后苏轼病逝， 此次分别， 竟成永诀。米芾虽小苏轼十五岁， 但从来不以弟子相称， 既是因为米芾不愿卷入党争， 又是因为苏轼视米芾为书法的开宗派者， 所以二人始终平辈交往， 结下深情厚谊。苏轼在生命最后一息和米芾作了诀别交心之谈， 而米芾在苏轼死后， 当即挥泪写下了《东坡挽诗五首》。这组诗在米芾集中绝无仅有， 他全然没有在意写这些挽诗的风险， 毅然决然地给苏轼写下了最后一篇交心文字， 为二人的知心之交画了一个圆满的句号。
