Joachim byl zázračné dítě a debutoval ve věku sedmi let. Studoval u Stanisława Serwaczyńského a později u Ferdinanda Davida na konzervatoři v Lipsku. Studoval také skladbu u Moritze Hauptmanna.
Joachimova kariéra sólisty ho zavedla po celé Evropě a vystupoval s mnoha předními orchestry té doby. Byl také komorním hráčem a vystupoval s mnoha předními hudebníky své doby, včetně Clary Schumann, Johannese Brahmse a Josepha Hellmesbergera, Sr.
Joachim byl také oddaným učitelem a v letech 1869 až 1907 vyučoval na vídeňské konzervatoři. Byl také zakladatelem Joachimova kvarteta, jednoho z nejrenomovanějších smyčcových kvartet té doby.
Joachim měl velký vliv na vývoj houslové hry a jeho učení mělo hluboký dopad na houslisty po celém světě. Je považován za jednoho z největších houslistů všech dob a jeho odkaz dodnes inspiruje a vzdělává hudebníky.