Text písně zdůrazňuje emocionální zmatek a vnitřní konflikt, který muž prožívá. Přiznává, že na svou bývalou stále myslí „každou noc a den“ a že se „nestačí divit“, jestli na něj myslí i ona. Uznává, že by měl jít dál, ale zjistí, že to nedokáže, protože jeho srdce je s ní stále svázáno.
Refrén zdůrazňuje mužovu neschopnost vrátit lásku, kterou mu někdo jiný nabízí. Zpívá:"Nemohu tě milovat, i když se hodně snažíš" a "Stále se držím ducha toho, co jsme měli." To naznačuje, že není citově dostupný pro nový vztah a je stále pohlcen svými city k bývalé partnerce.
V celé písni muž vyjadřuje svou touhu po minulosti a touhu být znovu se svou bývalou. Zpívá:"Kéž bych se mohl vrátit a odčinit všechny věci, které jsme udělali" a "Kéž bych tě mohl znovu držet v náručí." To naznačuje, že lituje rozchodu a snaží se přijmout realitu jejich odloučení.
Celkově je „I Can't Love You Back“ dojemnou písní o zármutku, ztrátě a výzvách spojených s přechodem z minulého vztahu. Zachycuje emocionální zmatek a zranitelnost někoho, kdo se stále potýká s následky rozchodu a není schopen znovu najít lásku.