Connery se narodil v Edinburghu ve Skotsku v roce 1930. Jeho otec byl tovární dělník a matka byla domácí uklízečka. Connery opustil školu ve 13 letech a začal pracovat jako mlékař. Později vstoupil do Royal Navy, kde sloužil tři roky.
Conneryho herecká kariéra začala na počátku 50. let, kdy se objevil v řadě malých rolí v britských filmech. Jeho velký zlom nastal v roce 1962, kdy byl obsazen do role Jamese Bonda ve filmu Dr. Ne. Film měl obrovský úspěch a Connery se rychle stal jedním z nejpopulárnějších herců na světě.
Connery pokračoval v hraní Jamese Bonda v dalších šesti filmech, včetně From Russia with Love (1963), Goldfinger (1964), Thunderball (1965), Žiješ jen dvakrát (1967), Diamonds Are Forever (1971) a Never Say Never Again (1983). Hrál také v řadě dalších úspěšných filmů během 60. a 70. let, včetně Velký útěk (1963), Vražda v Orient Expressu (1974) a Muž, který by byl králem (1975).
V 80. letech začala Conneryho kariéra upadat. Hrál v řadě špatně přijatých filmů, včetně Outland (1981), Never Say Never Again (1983) a Liga výjimečných (2003). Nicméně se mu dostalo jistého uznání kritiky za role ve filmech Nedotknutelní (1987), Indiana Jones a poslední křížová výprava (1989) a Skála (1996).
Connery odešel z herectví v roce 2006. Za svou práci obdržel řadu ocenění, včetně Oscara, dvou cen BAFTA a tří Zlatých glóbů. V roce 2000 byl také pasován na rytíře královnou Alžbětou II.