Jeho nejpozoruhodnější práce byla s Cannonball Adderley Quintet v 70. letech, ale spolupracoval také s mnoha dalšími významnými jazzovými hudebníky, včetně Thelonious Monk, Miles Davis, Dizzy Gillespie, Dexter Gordon a Herbie Hancock.
Kromě své práce jako sideman, Poole také vydal několik sólových alb, včetně „The Essence of John Poole“ (1977), „Sweet Lucy“ (1978) a „Blue Planet Man“ (1980).
Poole je také skladatel a aranžér a napsal hudbu pro film a televizi. Vyučoval také jazz a latinské perkuse na University of Southern California a California Institute of the Arts.
Poole získal v letech 2004 a 2005 cenu Asociace jazzových novinářů „Dummer of the Year“ a je také členem Národní akademie nahrávacích umění a věd (NARAS).