Zde je to, co víme:
* Žádné doklady o sportu: Neexistují žádné historické záznamy o tom, že by se Madison účastnila jakýchkoli organizovaných sportovních nebo fyzických aktivit.
* Omezené volnočasové aktivity: Madisonin život byl z velké části pohlcen politikou a intelektuálními aktivitami. Byl nenasytným čtenářem, bystrým pozorovatelem vlády a oddaným studentem historie a filozofie.
* Jízda na koni: I když Madison nebyl sport, bylo známo, že má rád jízdu na koni, pravděpodobně pro dopravu a rekreaci.
* Zahradnictví: Madison se také živě zajímal o zemědělství a zahradnictví, často spravoval svůj vlastní majetek.
Závěrem lze říci, že život Jamese Madisona se soustředil na intelektuální činnosti a veřejnou službu, s omezenými důkazy o jakýchkoli významných sportovních nebo rekreačních zálibách.