Însă înainte de a fi protagonistul uneia dintre cele mai mari rivalităţi din istoria sportului, Joe Frazier a fost nevoit să treacă peste o copilărie dificilă şi a cucerit titlul olimpic la Tokyo, în 1964, deşi nici măcar n-ar fi trebuit să fie prezent în Japonia.
Joseph William Frazier s-a născut pe 12 ianuarie 1944, în Beaufort, South Carolina, fiind al 12-lea copil al lui Rubin şi Dolly Frazier. Din cauza problemelor sociale şi rasiale din acea perioadă, micul Joe a avut parte de o copilărie foarte grea: „Eram unul dintre cei 14 copii şi am fost nevoit să muncesc pe câmp încă de la 7 ani. La 13 ani, am renunţat la şcoală. Părinţii mei sufereau mult pe atunci”.
La jumătatea anilor '50, tatăl său a reuşit să cumpere un televizor alb-negru, la care întreaga familie urmărea meciurile în care luptau Sugar Ray Robinson, Rocky Marciano sau Rocky Graziano. Într-una din zile, unul din unchii lui Joe i-a observat fizicul impresionant şi a exclamat: „Băiatul ăsta va fi un alt Joe Louis!”. Încurajat de aceste vorbe, tânărul Frazier şi-a confecţionat singur un sac de box, la care exersa în fiecare zi.
La 13 ani, a suferit un accident stupid, jucându-se cu un porc, în urma căruia şi-a rupt mâna. Familia nu a avut bani să-l trimită la un doctor, iar braţul s-a vindecat singur, însă Joe nu a mai putut niciodată să ţină strâns pumnul stâng. În ciuda acestui incident nefericit, a continuat să se antreneze. După un conflict cu proprietarul fermei la care lucra, viitorul campion mondial al greilor a fost nevoit să părăsească oraşul natal, mergând în New York, la unul dintre fraţii tatălui său, apoi în Philadelphia, acolo unde avea să-şi înceapă cariera de boxer.
Ajuns în Philadelphia, Joe s-a angajat la un abator, acolo unde, în momentele libere, se antrena lovind bucăţile de carne. De aici s-a inspirat Sylvester Stallone pentru „Rocky”. „
