Hirt se narodil v New Orleans, Louisiana, otci hudebníkovi a matce v domácnosti. Na trubku začal hrát v šesti letech a v době, kdy byl na střední škole, hrál profesionálně v místních klubech. Po službě v námořnictvu Spojených států během druhé světové války se Hirt vrátil do New Orleans a pokračoval ve své hudební kariéře.
V roce 1950 se Hirt připojil ke kapele trumpetisty Louise Primy a několik let cestoval s Primou. V roce 1957 Hirt opustil kapelu Primy a založil vlastní skupinu. Rychle se stal jedním z nejpopulárnějších jazzových trumpetistů na světě a nahrál řadu hitových alb.
Kromě své hudební kariéry byl Hirt také úspěšnou televizní osobností. V letech 1964 až 1968 moderoval svůj vlastní varietní pořad „The Al Hirt Show“. Objevil se také v mnoha dalších televizních pořadech, včetně „The Tonight Show v hlavní roli Johnnyho Carsona“, „The Ed Sullivan Show“ a „The Merv Griffin“. Show."
Hirt zemřel na rakovinu v New Orleans v roce 1999. Bylo mu 76 let.