154 (771) yılında Herat'ta doğduğu tahmin edilmektedir. Rum (Bizans) asıllı olan babası Ezd kabilesinden bir kişinin âzatlısıydı. İlk öğrenimine Herat'taki bir sıbyan mektebinde (küttâb) başladı. 179'da (795) Herat'tan ayrılarak Kûfe ve Basra'daki fıkıh, hadis, tefsir ve dil âlimlerinin derslerine devam etti. Uzun bir tahsil hayatından sonra çeşitli ilimlere dair eserler kaleme aldı ve ardından Herat'a döndü. Burada Hârûnürreşîd'in Valilerinden Herseme b. A'yen onu çocuklarının eğitim ve öğretimiyle görevlendirdi. Daha sonra Merv'e giderek orada da bir süre benzeri bir görev yaptı. Vezir Tâhir b. Hüseyin Merv'e geldiğinde onunla tanıştı ve kendisini Sâmerrâ'ya götürdü. Ebû Ubeyd Sâmerrâ'da bir müddet kaldıktan sonra Bağdat'a gitti ve Vali Sâbit b. Nasr b. Mâlik'in çocuklarına hocalık yaptı. Aynı zamanda İmam Şâfiî'den fıkıh okuyarak onunla ilmî tartışmalarda bulundu. Ahmed b. Hanbel'in sohbetlerine katıldı. Kur'an ilimleri ve kıraatle meşgul olurken lugat ve nahiv âlimlerinden de faydalandı. Her biri farklı metot ve görüşleri benimseyen kırktan fazla âlimin derslerine devam etti. Kendilerinden Arap dili ve edebiyatı, ensâb* gibi ilimler okuduğu hocaları arasında Ali b. Hamza el-Kisâî, İbnü'l-Kelbî diye tanınan Hişâm b. Muhammed, Ebû Amr eş-Şeybânî, Yahyâ b. Ziyâd el-Ferrâ, Ebû Ubeyde Ma'mer b. Müsennâ ve Asmaî gibi meşhur âlimler yer almaktadır. Ayrıca Abdullah b. Mübârek, Süfyân b. Uyeyne, Yahyâ b. Saîd el-Kattân ve Abdurrahman b. Mehdî'den hadis okudu. Kırka yakın talebesinden ise Ahmed b. Hanbel, Ebû Hâtim es-Sicistânî, Buhârî, Tirmizî ve Belâzürî gibi tanınmış kişilerin isimleri zikredilmektedir.
Sâbit b. Nasr Tarsus valisi olunca Ebû Ubeyd'i beraberinde götürerek Tarsus kadılığına tayin etti. Ebû Ubeyd, on sekiz yıl devam eden bu görevinden telif çalışmalarına engel olduğu için ayrıldı ve 213 (828) yılında Yahyâ b. Maîn'le birlikte Mısır'a gitti. Bu arada onun Şam'a gittiği de rivayet edilmektedir. Daha sonra tekrar Bağdat'a dönerek garîbü'l-hadîs konusunda dersler vermeye başladı. Çok ilgi gören bu derslerin sonunda Garîbü'l-hadîs adlı eseri meydana geldi.
219 (834) yılında hacca giden ve rüyasında Hz. Peygamber'i gördüğü için geri dönmekten vazgeçip Mekke'de oturmaya karar veren Ebû Ubeyd 224 yılı Muharrem ayında (Aralık 838) burada vefat etti ve Ca'fer b. Ebû Tâlib'in evine defnedildi. 222 (836) veya 223'te (837) öldüğü de kaydedilmektedir.
Kaynak: Türkiye Diyanet Vakfı İslam Ansiklopedisi