Trabzon'da 21 Ekim 1948'de dünyaya gelen Yılmaz, İstanbul Mühendislik ve Mimarlık Akademisi İnşaat Fakültesi'nden mezun oldu. Yılmaz, iş insanı, medya patronu, siyasetçi ve spor yöneticisi olarak tanındı.
1982-1983 sezonunda Trabzonspor'un 8. başkanı olarak seçilen Mehmet Ali Yılmaz, bu görevini 1987-1988 sezonun ortasına kadar sürdürdü. Bir yıllık aranın ardından 1989'da tekrar başkanlık koltuğuna oturan Yılmaz, 1992'ye kadar görevde kaldı. Üçüncü başkanlık dönemi 1996'nın sonundan 2000 yılının sonuna kadar devam eden Mehmet Ali Yılmaz, kulüpte en uzun süreyle başkanlık yapan kişi oldu.
Trabzonspor, Yılmaz'ın başkanlığı döneminde 1982-1983 sezonunda Cumhurbaşkanlığı Kupası, 1983-1984 sezonunda lig şampiyonluğu ve Türkiye Kupası, 1984-1985 sezonunda Başbakanlık Kupası olmak üzere 4 kupa kazandı.
Kulüpte 1988'de yapılan Divan Başkanlık Kurulu'nda verilen önergeyle Mehmet Ali Yılmaz, kulübün onursal başkanlığı ünvanını elde etti.
Yılmaz, bordo-mavili kulüpte tesisleşmenin de ilk adımlarını attı. Mehmet Ali Yılmaz'ın ismi kulübün mevcut tesislerine verildi.
Mehmet Ali Yılmaz, 1991 genel seçimlerinde Doğru Yol Partisi'nden Trabzon milletvekili seçilerek, 49 ve 50. hükümette Spordan Sorumlu Devlet Bakanlığı görevini yaptı.
Mehmet Ali Yılmaz'ın Bakanlığı döneminde Türkiye Futbol Federasyonu özerk bir yapıya kavuştu. Yılmaz, futbolda havuz sistemini düzenleyen kişilerden biri oldu.