Strabunicul era arhitect. Bunicul, Albert Friedrich (1863-1947), de asemenea - cu studii la Berlin si Munchen, specializat in proiectarea de vile pentru familiile unor patricieni instariti. Tatal, Albert (1905-1981), tot arhitect, tot cu studii la Munchen si Berlin. El insa, Albert junior (nascut fiind in 1934, junior nu mai e, de fapt, de mult), a invatat mai intai meseria de tamplar, iar bacalaureatul si l-a luat la liceul seral.
Destinul parea ca sta in cumpana cu acest reprezentant, intr-a patra generatie, a ceea ce s-ar putea numi o dinastie de arhitecti - dar numai pentru o vreme: desi abia la 21 de ani, a ajuns si el sa se inscrie totusi la facultatea de resort a Universitatii Tehnice din Munchen. De unde aceasta ezitare, de unde decizia, dupa terminarea studiului, de a se prezenta doar la acele concursuri de arhitectura, la care participarea era anonima? Explicatia sta in numele pe care-l poarta, acelasi cu al tatalui sau, si caruia acesta i-a conferit o sumbra notorietate - Albert Speer. Berthold Konrad Hermann Albert Speer, tatal, ramas in istorie ca "arhitect al lui Hitler", a fost in cei 12 ani de dictatura nazista, rand pe rand sau concomitent, arhitect-sef al Berlinului (Generalbauinspektor fur die Reichshauptstadt), ministru pentru inarmare si munitii (Reichsminister fur Bewaffnung und Munition), coordonator al ansamblului destinat Olimpiadei din 1936, responsabil totodata cu proiectarea si construirea unor lagare de munca silnica (Zwangsarbeiterlager), el a reusit sa-i convinga pe judecatori, in procesul de la Nurnberg al criminalilor de razboi, ca nu stia nimic despre Holocaust si astfel - desi s-a numarat printre cei mai apropiati colaboratori ai fuhrerului - s-a ales doar cu 20 de ani de inchisoare.
Cu un asemenea tata, purtandu-i si numele, e limpede ca tanarul Albert Speer s-a decis cu greu sa se dedice profesiei de arhitect