V refrénu písně se opakuje replika „Nechci tvoje zbytky“, vyjadřující zpěvákovo odmítnutí pozůstatků minulého vztahu a jejich odhodlání vytvořit si novou a naplňující budoucnost.
Text také vykresluje emocionální cestu zpěváka, když se vyrovnává s koncem vztahu. Popisují, že se ve svém životě cítí jako „duch“, snaží se najít své místo ve světě bez svého bývalého partnera.
Navzdory bolesti a nejistotě píseň naznačuje pocit odolnosti a naděje. Zpěvák uznává, že je může stále pronásledovat minulost, ale vyjadřuje své odhodlání jít dál.
Celkově je „Your Leftovers“ dojemná píseň o lásce, ztrátě a hledání nových začátků. Zachycuje syrové emoce a výzvy, které přicházejí s přechodem z významného vztahu.