Nat King Cole se oženil s Marií Ellingtonovou 25. prosince 1936 v Chicagu, během vrcholu své první kariéry. Byli šťastně ženatí 20 let a adoptovali pět dětí; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (duben 1941) a dvě dívky Carol "Cookie" Cole (1944) a Maria Cole (1947). Jejich syn Nat Kelly Cole se stal slavným zpěvákem, skladatelem a hercem.
28. prosince 1956 Maria Cole nečekaně zemřela na rakovinu plic ve věku 45 let, takže Nat byla hluboce zničena a se zlomeným srdcem. Byl vdovec, dokud se 8. července 1965 neoženil se zpěvačkou Marií Hawkinsovou. Zůstali spolu až do předčasného úmrtí Nata Kinga Colea v roce 1965.
Spor o otcovství
V 90. letech se ozvala žena jménem Lorna Coles, která tvrdila, že je dcerou Nata Kinga Colea z krátkého románku, který měl s její matkou v roce 1947. Testování DNA potvrdilo, že Lorna Colesová byla skutečně biologickým dítětem Nata Kinga Colea.