Narodil se na ostrově Bequia, Svatý Vincent, a získal koloniální základní školní vzdělání. V roce 1930 Palmer získal stipendium na střední školu v Londýně. S dalšími stipendii pokračoval ve studiu medicíny na univerzitě v Birminghamu, kterou ukončil v roce 1941.
Vrátil se do Západní Indie a pracoval na Jamajce, Trinidadu a Tobagu a na Svaté Lucii. V roce 1950 se Palmer vrátil na Saint Vincent, aby cvičil. V roce 1954 Palmer spoluzaložil Lidovou politickou stranu (PPP) a byl zvolen jako zákonodárce do Legislativní rady. V roce 1967 byl zvolen hlavním ministrem.
V roce 1979 vedl Palmer Svatý Vincent a Grenadiny k nezávislosti na Spojeném království. Ve stejném roce byl pasován na rytíře královnou Alžbětou II.
V roce 1984, Palmer odešel z politiky a byl následován jako předseda vlády James Fitz-Allen Mitchell. Zemřel v den svých 92. narozenin.