Bergama'ya bağlı Balaban köyünde doğdu. Bergama Rüşdiyesi'nde okurken aynı zamanda buradaki medresede dinî öğrenim gördü. 1907'de girdiği İstanbul Dârülmuallimîni'nde öğrenimini sürdürürken bir yandan da medresede Arapça, Farsça, fıkıh, usûl-i fıkıh ve mantık derslerini takip etti; bu arada dönemin İstanbul müftüsü Fehmi Efendi'den mantık ve Arap edebiyatı okudu.
1910'da Dârülmuallimîn'den birincilikle mezun olduktan sonra Üsküp Dârülmuallimîni pedagoji öğretmenliğine, ardından aynı yıl içinde Adana Dârülmuallimîni müdürlüğüne tayin edildi. Burada üç yıl süren müdürlük ve öğretmenlik çalışmalarını takdirle karşılayan Maarif Nezâreti kendisini Avrupa talebe müfettişliğine tayin etti. Balaban İsviçre'nin Cenevre şehrinde bir yandan bu resmî görevini sürdürürken bir yandan da buradaki J. J. Rousseau Enstitüsü'nde felsefe, psikoloji, pedagoji ve sosyoloji derslerine devam etti. Balaban'ın bu enstitüdeki çalışmalarını başarılı bulan psikoloji profesörü Edouard Claparède onu yanına asistan aldı. Cenevre'de ayrıca, Türkiye'deki öğrenimi sırasında geliştirdiği Arapça, Farsça ve Fransızca'ya ilâveten İngilizce ve Almanca da öğrendi.
Balaban yayın hayatına, İstanbul'da yayımlanan İkdam gazetesinin İsviçre muhabirliğiyle başladı. Gazetenin sahibi Ahmed Cevdet Bey'le irtibat kurarak 1918'den itibaren İkdam'da yazmaya başladı.
M. Rahmi Balaban Cenevre dönüşünden sonra 1923'te Ziya Gökalp başkanlığındaki Maarif Vekâleti Telif ve Tercüme Encümeni üyeliğine getirildi. 1924'te Gökalp'ın milletvekili seçilmesi üzerine onun yerine tayin edildi. 1924'te Ankara Kız Lisesi terbiye-i etfâl muallimliğine, aynı yıl içinde İzmir Erkek Lisesi felsefe ve sosyoloji muallimliğine getirildi. Balaban İzmir'deki öğretmenliği sırasında buradaki çeşitli liselerde felsefe, sosyoloji, ma'lûmât-ı vataniyye, usûl-i tedrîs, tatbikat muallimliği gibi dersler okuttu. Ayrıca İzmir'de on beş günde bir çıkan Fikirler dergisinde eğitim ve öğretim konularına dair yazılar yazdı. 1945'te İzmir Karşıyaka Kız Öğretmen Okulu müdürlüğüne getirildi ve kız öğretmen okullarının kapatıldığı 1949 yılına kadar bu okulda kaldı. İzmir Atatürk Lisesi felsefe öğretmeniyken 1953 yılında emekliye ayrıldı ve aynı yılın 19 Temmuzunda İstanbul'da vefat etti. Cenazesi İzmir'e götürülerek Kokluca Mezarlığı'na defnedildi.
Mustafa Rahmi Balaban, Maarif Vekâleti Telif ve Tercüme Encümeni üyeliğine tayin edildiği 1923 yılından itibaren, modern eğitim ve öğretim kurumlarıyla kitap ve öğretmen sayısının son derece az olduğu bu dönemde iyi yetişmiş bir eğitimci olarak modern pedagojinin ilke ve metotlarını yaymak, öğretmen yetiştirilmesine katkıda bulunmak maksadıyla psikoloji, pedagoji, felsefe, ahlâk, Türk dili, çocuk edebiyatı, medeniyet ve kültür tarihi gibi alanlarda telif ve tercüme seksen kadar eser yazmış ve bunların altmıştan fazlası yayımlanmıştır. Kırk üç yıl süren eğitimcilik ve idarecilik çalışmaları yanında yazı faaliyetleriyle de Cumhuriyet Türkiyesi'nde Batı tarzı eğitim ve öğretim sisteminin yerleşmesine öncülük edenlerden biri olmuştur. Balaban yazı faaliyetlerini ölümüne kadar sürdürmüş, son çalışmalarından olan Kur'ân-ı Kerîm'in tercüme ve tefsirini 27. cüze kadar getirebilmişse de tamamlamaya ömrü yetmemiştir.
Kaynak: Türkiye Diyanet Vakfı İslam Ansiklopedisi