Johnson se narodil v Indianapolis, Indiana. Na pozoun začal hrát v 11 letech. Studoval na hudební konzervatoři Arthura Jordana a na Indiana University School of Music.
Johnson se přestěhoval do New Yorku v roce 1942 a rychle se stal jedním z nejvyhledávanějších trombonistů ve městě. Hrál s Charliem Parkerem, Dizzy Gillespie, Bud Powellem a dalšími legendami bebopu.
V 50. letech začal Johnson zkoumat hard bop, novější, agresivnější styl jazzu. Nahrál několik vlivných alb se svými vlastními kapelami, včetně „The Eminent Jay Jay Johnson Volume 1“ (1954) a „Jay Jay Johnson with Clifford Brown“ (1955).
Johnson pokračoval v turné a nahrávání v průběhu 60. a 70. let. Učil také na Berklee College of Music a Manhattan School of Music.
Johnson zemřel na infarkt v Indianapolis v roce 2001. Bylo mu 77 let.
Johnson byl mistrem na trombon. Měl jedinečný zvuk, který byl okamžitě rozpoznatelný. Byl také nadaným improvizátorem a skladatelem. Jeho hudba ovlivnila nespočet trombonistů po celém světě.
Zde jsou některé z nejznámějších Johnsonových skladeb:
* "Naříkat"
* "Ezz-thetic"
* "Enigma"
* "Hvězdný prach"
* "Blue Funk"