Smith è nato a Portsmouth, in Virginia, da Charles e Orletha Smith. Ha frequentato la Mount Saint Joseph High School di Baltimora, nel Maryland, dove ha ottenuto una media di 22,2 punti, 12,0 rimbalzi e 4,0 stoppate a partita da senior e ha vinto diversi premi, tra cui il Gatorade Maryland Boys Basketball Player of the Year due volte. È stato inoltre nominato nel McDonald's All-American team 2018.
L'8 novembre 2017 ha firmato la sua National Letter of Intent per giocare per Maryland. Da matricola, ha segnato una media di 11,7 punti, 6,8 rimbalzi e 1,2 stoppate a partita. Ha realizzato 19 punti e 12 rimbalzi nella vittoria per 79-77 su Belmont agli ottavi di finale del torneo NCAA. Nella partita successiva, nella sconfitta per 69-67 contro la LSU, Smith finì con 15 punti, otto rimbalzi e cinque stoppate da record.
Il 4 dicembre 2019 ha concluso con 15 punti e 16 rimbalzi in carriera nella vittoria per 72-51 contro Notre Dame. Il 21 gennaio 2020 ha segnato un record di 25 punti in carriera e 11 rimbalzi nella vittoria per 77-66 contro Northwestern. Al termine della stagione regolare è stato nominato nella All-Big Ten First Team e nell'All-Big Ten Defensive Team. È stato nominato Third Team All-American da Associated Press e Sporting News. Ha una media di 15,5 punti, 10,5 rimbalzi e 2,4 stoppate a partita al secondo anno. Dopo la stagione ha dichiarato la sua eleggibilità per il Draft NBA 2020.