当时名家除了苏轼以外， 王安石也较重视米芾的文学作品。宋李之仪说：“荆公 (王安石) 得元章诗笔， 爱之。”卷三九《宋史·米芾传》载：“王安石尝摘其 (米芾) 诗句书扇上。”
当时对米芾文学作品给予高度评价的还不只是像苏轼、王安石这样的大家。米芾《多景楼诗》墨迹尚存， 后有剑川何执中跋云：
昨日元度座上见襄阳米元章所题《多景楼诗》, 不独仰其翰墨， 尤服造语之工， 真可目之三绝。
此跋写于崇宁元年， 时米芾尚在世。从其跋语来看， 何执中赞米芾诗胜过其书法。诗中多景楼与甘露寺都是米芾在镇江家居附近的名胜， 元符末年被焚毁， 当时禅师想重建此楼， 米芾便写了此诗。米芾非常喜欢李白的诗， 北宋《宣和书谱》卷一二说他“诗追李白”, 此诗开篇写“华胥兜率梦曾游， 天下江山第一楼”, 诗中“云移怒翼抟千里， 气霁刚风御九秋”等句豪迈激昂， 气势开张， 风格近李白。
宋阮阅《诗话总龟》卷一一云：
米元章赋、诗绝伦， 而人罕称之者， 以书名掩之也……如此二诗， 殆出翰墨畦径之表， 盖自迈往凌云之气流出， 非寻规索矩者之可到也。
阮阅所指乃米芾《东坡居士作水陆于金山相招足疮不能往作此以寄之》和《栖云阁》二首。前一首诗写苏轼邀他赴金山之宴， 他因“足病不列诸方仙”而感到遗憾， 末句“想应苍壁有垂露， 照水百怪愁寒烟”, 不写自己之愁， 却说水怪犯愁， 已是不同寻常。第二首写云， 赋生命予行云， 说“云出救世旱”, 有不朽之“丰功”, 末句写自己想随云而去， 既造福于民， 又能遗世隐居、自在飘游， 独憾“云乎无定所， 隐者何当栖”。这样写诗， 的确不是循规蹈矩者之为。
宋吴可《藏海诗话》云：
蔡天启云：“米元章诗有恶无凡。”孙仲益、韩子苍皆云。子苍又云：“师川诗无恶而无凡。”不知初学何等诗， 致如此无尘埃也。
吴可为北宋末人， 所引之语为蔡肇、孙觌、韩驹所评， 他们与米芾同时， 共同认为米芾诗的特点是“无凡”, 即了无俗气， 与苏轼所说的“清雄绝俗”意同。
宋曾敏行《独醒杂志》卷五云：
米元章尝写其诗一卷投许冲元云：“芾自会道， 言语不袭古人。”年三十为长沙掾， 尽毁焚已前所作， 生平不录一篇投王公贵人， 遇知己索一二篇则以往。元丰中至金陵识王介甫， 过黄州识苏子瞻。皆不执弟子礼， 特敬前辈而已。其高自誉道如此。
米芾向来自视甚高， 不屑与流俗交往， 而爱投诗文与知己， 与前述他多次寄给苏轼诗文之事合。苏轼对米芾早期诗文不作高评， 米芾已有此感才焚毁早期诗文。
宋室南渡后， 米芾百卷本《山林集》散佚了， 不少像《宝月观赋》那样令苏轼叹服的好作品失传了， 其文学的地位和影响也因此下降。南宋理宗绍定壬辰 (1232) 年， 岳珂官居润州， 在米芾旧居遗址之上修葺米芾祠。“既葺芾祠， 因摭其遗文为一编， 并为之序”。并评述：
南宫 (米芾) 被天鉴， 流荣名。其在两朝， 元不颛以结字。《思陵翰墨志》有曰：“芾之诗文语无蹈袭， 出风烟之上， 觉其词翰， 同有凌云之气。”噫嘻！此汉武帝所以知相如也。冠于篇端， 庶几览者有以自得焉。
岳珂引宋高宗《思陵翰墨志》, 是想借皇帝之语， 觉得更为权威， 更有说服力。 (四库提要称今本《思陵翰墨志》不载此语， 盖该书已残。) 但岳珂用汉武帝知司马相如来比喻宋高宗知米芾很不妥， 米芾与高宗不是同代人， 岳珂在颂扬宋高宗的同时， 也拔高了米芾。因为就实际情况来看， 米芾在宋代文坛的地位显然不如司马相如在汉代文坛的地位高， 如果算上他的书法， 在整个文艺界的地位， 庶几可匹。
