Terrell se narodila ve Philadelphii v Pensylvánii a svou kariéru začala jako teenager, když zpívala v různých místních skupinách. V roce 1961 podepsala smlouvu s Motown Records a vydala svůj debutový sólový singl „I Can't Believe You Love Me“. Píseň byla menším hitem, ale pomohla Terrellovi získat uznání v rámci organizace Motown.
V roce 1964 Terrell nahrál duet „Ain't No Mountain High Enough“ s Marvinem Gayem. Píseň se stala velkým hitem, dostala se na první místo v žebříčku Billboard Hot 100 a vyhrála dvě ceny Grammy. Terrell a Gaye pokračovali ve spolupráci a vydali několik dalších úspěšných duetů, včetně „Your Precious Love“, „You're All I Need to Get By“ a „If I Could Build My Whole World Around You“.
V roce 1967 byla Terrellovi diagnostikována rakovina mozku. Podstoupila operaci a léčbu, ale rakovina se vrátila v roce 1969. Terrell zemřel ve Philadelphii 16. března 1970 ve věku 24 let.