Aslen Sivaslıdır. Anne adı Sabahat, baba adı Arif'tir. Can adında bir ağabeyi ve Özge adında bir kızkardeşi vardır. Kocamustafapaşa'da ki Mehmet Akif İlkokulu'nda 4. sınıfta okurken ailesiyle birlikte Bahçelievler'e taşındı. Ortaokulu Bahçelievler Kazım Karabekir Ortaokulu'nda bitirdi. Lise öğrenimi Etiler Anadolu Otelcilik ve Turizm Meslek Lisesi'nde görmüştür.
Bir mizah dergisi olan Leman Dergisinde karikatür çalışmalarına başladığında, lisans eğitimini Boğaziçi Üniversitesi Turizm ve Otelcilik bölümünde sürdürüyordu.
İlk stand-up gösterisini Leman Kültür'de, 1995'in Ağustos ayında gerçekleştirdi. Aynı senenin aralık ayında Beşiktaş Kültür Merkezi"nde sahne almaya başladı. 2001 yılı sonuna kadar 1200'ün üstünde gösteriye çıktı. Hemen hemen bütün gösterileri kapalı gişe oynadı. Türkiyenin yanı sıra, Avrupa ve Amerikada da sahne aldı.
Leman Dergisi'nde yayınlanan çalışmalarını "Karikatürler" isimli kitabında yayınladı. İlk sinema deneyimini, 1998 yılında Ömer Vargı'nın yönettiği "Herşey Çok Güzel Olacak" isimli filmde Mazhar Alanson ile başrolü paylaşarak tatmış oldu. Film, Türkiye ve Avrupada yaklaşık 1 miyon 800 bin kişi tarafından izlendi.
Reklam dünyasında da adından söz ettiren sanatçı , "Panasonic" reklamlarının radyo spotlarıyla iki yıl üst üste Kristal Elma ödülüne layık görüldü. Radyo spotlarının yanı sıra, Panasonic, Mavi Jeans,Telsim, Doritos, Opet ve Türk Telekom gibi markaların reklamlarında oynadı. Yer aldığı her reklam filmi gündem konusu olmayı başardı.
Gösterileri 2000 senesinde Star TV tarafından yayınlanmaya başlandı ve "Gösteri" adıyla piyasa sürüldü.
2001 yılında çıkan kısa dönemden faydalandı ve Temmuz 2001'de askerliğini yaptı.
12 Kasım 2004'te vizyona giren, çekimleri tamamlanmasına karşın yapımcı firma ile yaşanan problemler sebebiyle montajı ve gösterimi geciken, 4 farklı karakterde oynayarak başrolünü üstlendiği, Ömer Faruk Sorak'ın yönetmenliğini yaptığı G.O.R.A. ile bir kez daha milyonları sinema salonlarına çekmeyi başardı.
2007 senesinde Cem Yılmaz, "CMYLMZ Fikir Sanat" adında sinema, televizyon, sahne ve diğer medyalar için yapımlar tasarlayan ve uygulayan bir fikir-sanat üretim şirketi kurmuştur. Daha önce de senaryo ve oyunculuk çalışmalarıyla birçok çalışmaya imza atan Cem Yılmaz, artık şirket bünyesinde senarist, oyuncu, yönetmen, yapımcı olarak görev alacak.
Ünlü komedyen Cem Yılmaz, 2011 vergilendirme döneminde gelir vergisi listesine 71. sıradan girerken, Yılmaz'a bağımsız müzisyen, ses sanatçısı, konuşmacı, sunucu gibi faaliyetlerinden oluşan geliri için 2 milyon 488 bin 198 lira gelir vergisi tahakkuk ettirildi. Cem Yılmaz ve sinema ve televizyon oyuncusu Ahu Yağtu (d. 11 Temmuz 1978)10 Mart 2012 tarihinde Pera Palas Otel'de evlendi. Balayı için Dubai'ye gittiler. Evlenmeden önce 4.5 aylık hamile olan Ahu Yağtu, çocukları doğduğunda adını Kemal koyacaklarmış.
Cem Yılmaz'ın, CM101MMXI adlı tek kişilik gösterisinin sinema filmi 3 Ocak 2013'te vizyona girdi.
