İlk oyunculuk deneyimini, 1999-2000 yılları arasında, kısa ömürli T.V. dizisiFreaks and Geeks ile yaşayan Segel, ünlü polisiye dizi CSI: Crime Scene Investigation'ın 2004-2005 sezonunda, Neil Jansen karakteri ile konuk oyuncu olarak rol aldı. Segel'i uluslararası üne kavuşturan yapım ise, CBS için hazırlanan ve hala devam etmekte olan komedi dizisi How I Met Your Mother oldu. Başrollerini Josh Radnor, Cobie Smulders, Neil Patrick Harris ve Alyson Hannigan ile paylaştığı dizide canlandırdığı Marshall Eriksen karakteri, oyuncuya büyük bir başarı kazandırdı.
Yönetmenliğini Freaks and Geeks dizisinde beraber çalıştığı Judd Apatow'un yaptığı 2007 tarihli sinema filmi Knocked Up'da rol alan Segel, bu filmden bir yıl sonra, senaryosunu kendisinin yazdığı, Mila Kunis ve Shauna Robertson ile beraber başrollerini paylaştığı Forgetting Sarah Marshall adlı sinema filminde rol aldı.
Son olarak, 2009 yapımı komedi filmi I Love You, Man ile seyircilerin karşısına çıkan Jason Segel, 2010 yılında vizyona girecek olan Gulliver's Travels(Gulliver'in Gezileri) adlı sinema filminde Horatio karakterini canlandıracak.