Zatímco jeho rodina byla v Americe po generace, byli nakonec anglického původu. Jeho otec Joseph Allen se narodil v Connecticutu, ale jeho dědeček přišel do Ameriky z Anglie.
Zatímco Allenova rodina a život byly hluboce spjaty s americkými koloniemi, jeho původ zůstává pevně zakořeněn v Anglii.