Kendisinden nakledildiğine göre 355 (966) veya 356 (967) yılında Herat'ta doğdu. Memleketinde, dedelerinden Semmâk'e nisbet edilerek İbnü's-Semmâk diye tanındı. Ensârî, Mekkî nisbeleriyle ve oğlu Îsâ'dan dolayı Ebû Îsâ künyesiyle de anılır. Ebû Zer Herat'ta İbn Hamîrûye gibi muhaddislerden hadis okudu. Daha sonra tahsil için İslâm ülkelerini dolaşmaya başladı. Basra'da Hilâl b. Muhammed, Bağdat'ta Dârekutnî ve Bâkıllânî, Dımaşk'ta Abdülvehhâb b. Hasan el-Kilâbî, Mısır'da Ebû Müslim el-Kâtib, Mekke'de İbrâhim b. Muhammed ed-Dîneverî'den faydalandı. Ṣaḥîḥ-i Buḫârî'nin üç meşhur râvisi Abdullah b. Ahmed b. Hammûye el-Hamevî'den 373'te (983-84) Serahs'ta, İbrâhim b. Ahmed el-Müstemlî'den 374'te (984-85) Belh'te, Muhammed b. Mekkî el-Küşmîhenî'den 387'de (997) Merv'de Ṣaḥîḥ-i Buḫârî'yi okudu ve bu eseri daha sonra Horasan, Bağdat ve Mekke'de okuttu. Hatîb el-Bağdâdî Ebû Zerr'in Bağdat'ta hadis okuttuğunu, fakat o sırada kendisinin Bağdat'ta bulunmadığını söylemektedir. Mekke'de bir süre ikamet ettikten sonra civardaki havadar köylerden bir kadınla evlenerek oraya yerleşti. Kitapları Mekke'deki evinde dururdu. Hac mevsiminde hacceder ve talebelere hadis okuturdu.
Ṣaḥîḥ-i Buḫârî'yi Buhârî'nin talebesi ve en önemli râvisi Firebrî'nin üç tanınmış öğrencisinden okumuş olması ve onlara ait üç nüshadan bir nevi tenkitli nüsha meydana getirerek onu Mekke'de hac mevsiminde yıllarca okutması kendisine ve nüshasına büyük şöhret kazandırdı. Bu hizmeti sebebiyle Ṣaḥîḥ-i Buḫârî'nin üçüncü nesil râvileri içinde en önemlisi sayıldı. Ṣaḥîḥ-i Buḫârî'nin güvenilir tenkitli bir metnini elde etmek isteyen Ali b. Muhammed el-Yûnînî (ö. 701/1302), kendisine kadar gelen pek çok nüshayı göz önüne alarak bunları dört gruba ayırdı. "He" rumuzuyla zikrettiği Ebû Zer nüshasını bu dörtlü gruptan biri kabul etti. İbn Hacer el-Askalânî, daha eski nüshalara sahip olduğu halde Ebû Zer nüshasını Fethu'l-bârî adlı şerhine esas aldı. Pek çok hadis talebesi bu önemli hadis kitabını Ebû Zer'den dinlemek için Mekke'ye gelirdi. Ölümünden sonra Ṣaḥîḥ-i Buḫârî nüshasını Mekke'de okutan oğlu Ebû Mektûm Îsâ b. Ebû Zer, eseri kendisinden iki defa okuyup Endülüslüler'e rivayet eden Ebû Abdullah İbn Manzûr, Ebü'l-Velîd el-Bâcî, İbn Dilhâs, şeyhülkurrâ İbn Şüreyh ve Ebû Sâlih el-Müezzin ona talebelik ettiler. İbn Abdülber en-Nemerî ile Hatîb el-Bağdâdî de kendisinden icâzet yoluyla rivayette bulundular.
Bağdat'ta bulunduğu sırada devrinin en büyük hadis âlimi sayılan hocası Dârekutnî'nin, yolda rastladığı genç âlim Bâkıllânî'yi kucaklayıp öpmesi Ebû Zerr'in Bâkıllânî'yi tanımasına vesile oldu. Bağdat'ta Ehl-i sünnet muhaliflerine karşı sünneti savunan Bâkıllânî'den kelâm ilmini ve Eş'arî'nin görüşlerini öğrendi; sonra da onun gibi fıkıhta Mâlikî, itikadda Eş'arî mezhebini benimsedi. Mekke'de kelâm ilmini Ebû Zer el-Herevî'den öğrenen Mağribli ve Endülüslü öğrencileri, daha önce aklî ilimlerin okutulmadığı memleketlerine bu ilimlerin girmesini sağladılar.
Ebû Zer 5 Zilkade 434'te (16 Temmuz 1043) Mekke'de vefat etti. 433 (1042) ve 435'te (1044) öldüğünü söyleyenler de vardır.
Kaynak: Türkiye Diyanet Vakfı İslam Ansiklopedisi