Johnson se narodil v Kantonu v Jižní Dakotě a vyrůstal na farmě. Vystudoval University of South Dakota v roce 1982 s titulem v oboru politologie. Poté, co několik let pracoval jako legislativní poradce, byl v roce 1986 zvolen do Sněmovny reprezentantů Jižní Dakoty. Ve sněmovně sloužil šest let, z toho dva roky jako řečník.
V roce 1996 byl Johnson zvolen do Senátu Spojených států, kde porazil úřadujícího republikána Larryho Presslera. Byl znovu zvolen do druhého funkčního období v roce 2002 a třetího funkčního období v roce 2008.
Johnson byl známý svými umírněnými politickými názory a ochotou spolupracovat s republikány i demokraty. Byl také velkým zastáncem zemědělství a rozvoje venkova.
V roce 2014 Johnson oznámil, že nebude usilovat o čtvrté funkční období v Senátu. Jako důvod svého rozhodnutí uvedl zdravotní problémy včetně mrtvice, kterou prodělal v roce 2006.
Johnson opustil Senát v roce 2015. Nyní je v důchodu a žije ve Vermillionu v Jižní Dakotě.