İstanbul Robert Kolej mezunudur. Yüksek öğrenimini İsviçre Lozan Üniversitesi Siyasal ve Sosyal İlimler Bölümü'nde tamamlamıştır. Alp Yalman, İngilizce, Fransızca ve Almanca bilmektedir.

Alp Yalman, 1961 yılında ünlü armatör Kahraman Sadıkoğlu'nun ablası Varlık Hanım'la evlendi. Bu evlilikten, Kerem ve Mehmet adlı iki çocuğu dünyaya gelir.

Galatasaray yönetim kurullarında 1973 yılında ilk olarak göreve gelmiştir. 1990 yılından 1996 yılına kadar Başkanlık yapmıştır. Galatasaray onun döneminde 2'şer defa lig şampiyonluğu, Türkiye Kupası ve Cumhurbaşkanlığı Kupası kazanmıştır.

25 Ekim 2014 tarihinde yapılacak olan Galatasaray olağanüstü kongresinde başkan adayı olma kararı aldı.