15 Şâban 451'de (26 Eylül 1059) Bağdat'ta doğdu. Birçok ilim adamının yetiştiği bir aileden gelmiş olup Hanbelî mezhebinde ictihad mertebesine ulaşan Kādî Ebû Ya'lâ el-Ferrâ'nın oğludur. Yine İbn Ebû Ya'lâ diye anılmakla birlikte kendisinden Ebû Hâzim künyesiyle ayrılan küçük kardeşinin adı da Muhammed olduğundan (ö. 527/1133) bazı müellifler iki kardeşi birbirine karıştırmışlardır.
İbn Ebû Ya'lâ ilk öğrenimini, döneminde Hanbelîler'in lideri sayılan babasından ve anne tarafından dedesi Câbir b. Yâsîn'den görmüşse de küçük yaşta babasının vefatı sebebiyle ondan fıkıh okuma fırsatı bulamadı. Ebû Bekir el-Hayyât'tan kıraat dersi aldı; onun huzurunda 464 (1072) ve 465 yıllarında Nâfi' kıraatiyle Kur'an'ı iki defa hatmetti. 465-470 (1073-1078) yılları arasında Şerîf Ebû Ca'fer Abdülhâliḳ b. Îsâ el-Hâşimî'den fıkıh ve fıkıh usulü okudu. Hatîb el-Bağdâdî, Muhammed b. Veşşâh ez-Zeynebî, Ebû Ali İbnü'l-Bennâ el-Bağdâdî, Ebû Muhammed Rızkullah b. Abdülvehhâb et-Temîmî, Ebû Ca'fer İbn Müslime, Ebû Bekir el-Hayyât, Ebü'l-Muzaffer Hennâd en-Nesefî ve başkalarından hadis dinledi. Özellikle fıkıh alanında bilgi sahibi oldu. Hadis konusunda güvenilir kabul edilen İbn Ebû Ya'lâ mezhebine taassup derecesinde bağlı idi ve sünnet muhaliflerine karşı tâviz vermiyordu. Bu tavrının sonucu olarak Eş'arîler'le tartışmalarda bulundu, onlara karşı sert bir mücadele yürüttü. Kaynaklarda "kadı" unvanıyla anıldığı halde nerede kadılık yaptığı belirtilmemekte, ancak kardeşi Ebû Hâzim ile birlikte Kādılkudât Ebü'l-Hasan İbnü'd-Dâmegānî'nin huzurunda şahitlik (noterlik) yaptığı bilinmektedir (Safedî, I, 160).
İbn Ebû Ya'lâ'nın fıkıh alanında yetiştirdiği öğrenciler arasında Ebü'l-İz Abdülmugīs b. Züheyr el-Harbî, Abdülkādir-i Geylânî, Vezir Ebü'l-Muzaffer İbn Hübeyre ve yeğeni Vâsıt Kadısı Ebû Ya'lâ es-Sagīr gibi âlimler vardır. Kendisinden hadis rivayet edenler içinde de İbnü'l-Haşşâb el-Bağdâdî, Ebü'l-Hasan Ali b. Muhammed ez-Zeytûnî, Cüneyd b. Ya'kūb el-Cîlî, Ebü'l-Alâ el-Hemedânî, Batâihî, Ebû Muhammed el-Mübârek b. Ali et-Tabbâh, İbnü'l-Harîf, Abdülkerîm b. Muhammed es-Sem'ânî, Ebû Tâhir es-Silefî ve Hâfız Ebü'l-Kāsım İbn Asâkir'in isimleri zikredilebilir. Ayrıca Ebû Mûsâ el-Medînî ve İbn Küleyb icâzet yoluyla kendisinden rivayette bulunmuşlardır. Bağdat'ta Bâbülmerâtib semtinde bulunan evinde geceleri tek başına kaldığı odasına hırsızlık için giren hizmetçileri tarafından 10 Muharrem 526 (2 Aralık 1131) gecesi öldürülen İbn Ebû Ya'lâ Bâbü Harb Mezarlığı'nda babasının yanına defnedildi.
Kaynak: Türkiye Diyanet Vakfı İslam Ansiklopedisi