Selena v celé písni zpívá o emocionální váze spojené s nesením vzpomínek na jejich minulost, což jí ztěžuje plně se pustit a začít novou kapitolu svého života. Naříká nad tím, že i když jsou fyzicky od sebe, přítomnost jejího bývalého partnera stále zaujímá významný prostor v její mysli a emocích, jako vytrvalý duch.
Texty se ponoří do bolesti z připomenutí minulosti, s odkazy na „tvůj smích“ a „slova, která jsi říkal“, stejně jako do boje o nalezení uzavření a posun vpřed, aniž by se úplně vymazaly vzpomínky na vztah. Selenina touha po minulosti je hmatatelná, když zpívá o touze zapomenout a být svobodná, ale neschopná uniknout z sevření, které na ni mají tyto vzpomínky.
Nakonec „Ghost of You“ vyjadřuje intenzitu emocionální daně, kterou si rozchod může vybrat, zvláště když se jedna osoba snaží pustit a přijmout, že vztah skončil. Píseň rezonuje s každým, kdo zažil strašidelné pozůstatky minulé lásky a výzvy navigace na cestě k uzdravení a nalezení uzavření poté, co významný vztah skončí.