Herbert Prohaska spelade under åtta år för Austria Wien innan han gick till italienska storlaget Inter. I Inter blev Prohaska cupmästare innan han flyttade till AS Roma. I Roma blev Prohaska italiensk mästare 1983 under den svenska tränaren Nils Liedholm. Prohaska återvände hem till Austria Wien och nya liga- och cuptitlar följde.
Efter tiden som spelare blev Prohaska tränare i Austria Wien och 1993 blev Prohaska förbundskapten för Österrike. Österrike kvalade under Prohaska in till VM i Frankrike 1998 vilket var Österrikes första kvalframgång sedan VM i Italien 1990. Österrike gick inte vidare från gruppspelet. 1999 avgick Prohaska sedan Österrike förlorat med 0-9(!) mot Spanien. Prohaska är en av de som suttit längst på posten som österrikisk förbundskapten i fotboll.