Appena quindicenne si mise in mostra nelle categorie giovanili e nel 1988 firmò il suo primo contratto da professionista con l'Al-Hilal. Militò nella squadra sino al 2000, anno in cui venne ingaggiato dagli inglesi del Wolverhampton, divenendo il primo giocatore saudita a giocare in Inghilterra. Dopo alcuni mesi lasciò la squadra britannica. Nella stagione 2000-2001 fu attivo negli Emirati Arabi Uniti, vestendo la maglia dell'Al-Ain, mentre dal 2001 al 2007 giocò di nuovo nell'Al-Hilal.
Con la nazionale saudita ha disputato 160 incontri ufficiali, andando a segno in 44 occasioni: esordì il 17 ottobre 1990 in un match contro il Qatar e da allora fu un punto fermo della squadra. Prese parte da titolare ai Mondiale statunitense del 1994, dove segnò un gol su calcio di rigore al Marocco,[1] che contribuì alla qualificazione dei sauditi agli ottavi di finale.
Disputò anche il Mondiale francese del 1998, nel corso del quale realizzò una rete contro il Sudafrica, diventando in tal mondo il primo calciatore asiatico a segnare in due edizioni consecutive della Coppa del mondo. Dopo la negativa esperienza dei sauditi al campionato del mondo 2002, in cui non scese mai in campo a causa di un infortunio, meditò di lasciare il calcio, ma nel 2005 fu convinto a tornare sui propri passi. Al-Jaber andò in rete nel pareggio per 1-1 contro l'Uzbekistan nella prima giornata delle qualificazioni alla Coppa del mondo e altre due volte nella partita di ritorno; grazie a queste marcature l'Arabia Saudita si qualificò con largo anticipo al Mondiale tedesco del 2006, a cui Al-Jaber prese parte segnando anche una rete nella sfida contro la Tunisia terminata 2-2.