Merzifon'da doğdu. Sarı Dânişmend lakabıyla tanınan bir zatın oğludur. İlk tahsilini memleketinde yaptıktan sonra Mısır'a gitti. Orada tanıştığı Sühreverdiyye tarikatının Zeyniyye kolu kurucusu Zeynüddin el-Hâfî'ye (ö. 838/1434) intisap ederek sülûk*ünü tamamladı. Daha sonra şeyhiyle birlikte Horasan'a gitti ve orada birkaç yıl kaldı. "Bir aşk kütüğü yaktık, diyâr-ı Rûm'a attık" diyen Hâfî'nin emriyle Anadolu'ya dönerek doğum yeri olan Merzifon'a yerleşti. Ölümüne kadar burada irşadla meşgul oldu. Şiirlerinde Rûmî mahlasını kullanan ve, "Tövbe yâ rabbi hatâ râhına gittiklerime / Bilip ettiklerime bilmeyip ettiklerime" beytiyle şöhret kazanan Abdürrahîm-i Rûmî, muhtemelen 850 (1446) yılında vefat etmiştir. Zeynüddin el-Hâfî'nin Abdürrahîm-i Rûmî'ye verdiği 832 tarihli icâzetnâmenin metni Nefehât Tercümesi'nde yer almaktadır.
Kendisinden bahseden kaynaklarda İrşâdü'l-enâm, Vesâyâ, Dîvançe-i İlâhiyyât ve Işknâme adlı eserleri olduğu kaydedilmekte ise de bunlardan sadece Işknâme'si (İÜ Ktp., TY, nr. 1359) günümüze kadar gelmiştir. Hakkında Berin Taşan tarafından müstakil bir çalışma yapılmıştır (İzmir 1975).
Kaynak: Türkiye Diyanet Vakfı İslam Ansiklopedisi