Willie şi fratele său George Smith, care a murit într-un accident rutier, şi-au pierdut tatăl scoţian într-o explozie dintr-o mină pe când erau foarte mici. Mama lor s-a recăsătorit, dar al doilea soţ, un domn Duncan, a murit şi el la câţiva ani, lăsând-o pe văduvă cu doi copii mici. Neputând să aibă grijă de ei, femeia i-a dus la St. George, unde Willie Smith a căpătat reputaţia de a-i teroriza pe ceilalţi copii.

Era un băiat care rareori avea nevoie de un motiv întemeiat pentru a sări la bătaie. Harris l-a învăţat cât de mult a putut, dar nu a reuşit să îl convingă pe Smith că boxul era ceva mai mult decât să îţi linşezi adversarul.

În 1920, antrenorul Johnny Watson s-a dus la St. George să vadă un turneu. A fost impresionat de tenacitatea lui Smith şi a ajuns în colţul băiatului, oferindu-i sfaturi. Era începutul unui parteneriat de lungă durată. Smith s-a luptat peste tot în Africa de Sud şi a câştigat 32 de concursuri pentru amatori într-un singur an. Watson a reuşit să îl înveţe că defensiva şi tactica sunt la fel de importante precum o lovitură tare şi l-a transformat pe micul bătăuş într-un boxer cu stil.

În trialurile pentru Jocurile Olimpice din 1924, Smith l-a întâlnit pe Harry Tyrell şi a devenit reprezentantul Africii de Sud la Paris, alături de Roy Ingram, Ernie Eustace şi Dick Beland. La Paris, Smith a devenit cel mai tânăr campion olimpic de box, cucerind titlul la categoria cocoş.

După Jocuri, Willie nu era foarte dornic să treacă la profesionişti, aşa că s-a angajat ca magazioner la minele Coroanei. Pentru a putea să îşi ajute mama financiar, a fost însă forţat ca pe 25 iunie 1925 să debuteze în boxul profesionist, unde a înregistrat 39 de victorii (2 prin KO), 13 înfrângeri şi 3 egaluri.

A petrecut câţiva ani ca vânzător şi comis-voiajor, ca apoi să conducă hotelul Richmond din Hamburg. A deven