Není pochyb o tom, že Dickens byl do Ternana zamilovaný. Psal jí vášnivé dopisy, které obsahovaly explicitní sexuální zmínky. V jednom dopise napsal, že touží „ochutnat ta zralá červená ústa... pohltit [její] svůdné tělo“.
Rozsah jejich fyzického vztahu však není znám. Někteří autoři životopisů věří, že nikdy neměli sex, zatímco jiní věří, že ano.
Jasné je, že vztah se nakonec stal pro Dickense přítěží. Cítil se provinile, že podváděl svou ženu, a měl obavy z veřejného skandálu.
V roce 1858 Dickens ukončil aféru a poslal Ternana do zahraničí do Francie. O několik let později se vrátila do Anglie, ale Dickense už nikdy neviděla.
Sama Ternanová o svém vztahu s Dickensem nikdy veřejně nemluvila. Podle jednoho z jejích příbuzných si to „vzala do hrobu“.
Přestože konkrétní detaily jejich vztahu nemusí být nikdy známy, není pochyb o tom, že románek mezi Charlesem Dickensem a Ellen Ternanovou byl významný a nakonec tragický.