Dickens potkal Ellen Ternanovou v roce 1857, když jí bylo pouhých 18 let a jemu 45. Ternanová byla divadelní herečka a Dickens jí okamžitě učaroval. Začali spolu tajný románek, který trval několik let.
Dickens a Ternan byli velmi zamilovaní a plánovali se vzít poté, co se Dickens rozvedl se svou ženou Catherine. Dickensova žena mu však odmítla umožnit rozvod, a tak spolu s Ternanem nikdy nemohli být otevřeně.
V roce 1865 měli Dickens a Ternan spolu dítě, syna jménem Charles. Dickens byl šťastný, že je znovu otcem, a svého syna zbožňoval. O dítěti se však dozvěděla jeho žena, která zuřila. Hrozila, že aféru odhalí veřejnosti, a Dickens byl nucen se s Ternanem rozejít.
Dickens a Ternan se po roce 1865 už nikdy neviděli. Dickens zemřel v roce 1870 a Ternan žil až do roku 1914. Nikdy se neprovdala a nikdy neměla žádné další děti.