Almanya'nın başkenti Berlin'de bir Türk işçi ailenin çoçuğu olarak dünya'ya gelen Sefa Yılmaz burada yoğunlukla Türkler'in yaşadığı Kreuzberg'de yetişti. Kreuzberg semtinin altyapısıyla tanınan Eintracht Südring Berlin'de futbola başladı. Burada kabiliyetini göstermeye başlamasıyla beraber üst kademe takımları'nın altyapılarına transfer oldu.

Önce Berlin ekibi 1. FC Schöneberg altyapısında oynadı ve daha sonra VfL Wolfsburg altyapısına transfer oldu. Üç sezon altyapıda oynadıktan sonra VfL Wolfsburg'un ara takımı olan VfL Wolfsburg II'nin kadrosuna dahil edildi. Burada iki sezon başarıyla forma giydi ve neticesine 2009-10 sezonunda 2. Bundesliga'nın köklü ekiplerinden MSV Duisburg'a transfer oldu.

MSV Duisburg'da uyum sorunu yaşamadan ilk 11'de yer bulmayı başardı ve takımıyla sezon sonu Almanya Kupası olan DFB-Pokal'de final oynadı.

2009-10 sezonunda sergilediği üstün performansla birçok Bundesliga ekibinin transfer listesine girsede o tercihi Türkiye'den yana kullandı ve 10 Haziran 2011'de Kayserispor ile 4 yıllık anlaşma imzaladı.

Spor Toto Süper Lig'de 2012-2013 sezonunda gösterdiği performans ile 3 Büyükler'in transfer listesine girdi.

12 kez milli takımlara çağrılan Sefa Yılmaz, 7 kez Türkiye U-18, 3 kez Türkiye U-19 ve 1 kez de Türkiye U-21 forması olmak üzere toplam 11 kez milli formayı giymiştir ve müsabakalarda 1 gol kaydetmiştir.

Geçiçi olarak tercihini Almanya'dan yana kullanıp Almanya U-20 Milli takımına davet edildi. Buna rağmen Mart 2011'de Türkiye U-21 Milli takımına davet edildi ve bu daveti kabul ederek tekrar Türkiye için oynamaya karar verdi.