Ve čtvrtém století zavedl svatý Ambrož, milánský biskup, antifonální zpěv, kdy sbor zpívá střídavě verše žalmu nebo hymny. V pátém století sv. Řehoř Veliký, římský papež, standardizoval liturgii a zavedl systém osmi hudebních režimů. Tento systém, známý jako gregoriánský chorál, se stal po staletí primární formou hudby v katolické církvi.
Během středověku se začaly rozvíjet různé další formy církevní hudby, jako jsou liturgická dramata, polyfonie a varhanní hudba. Polyfonie, kde se zpívají dvě nebo více hudebních linek současně, se stala důležitou ve 12. století.
V 16. století zahájil Martin Luther protestantskou reformaci. To vedlo k rozvoji různých stylů církevní hudby, jako jsou luteránské chorály a anglikánský chorál. Tyto žánry zůstávají dnes důležitou součástí křesťanského uctívání.
V 19. a 20. století došlo k obnovení zájmu o studium a provozování rané církevní hudby, jako je gregoriánský chorál a díla Palestriny. Došlo také k vylití nové duchovní hudby složené v různých stylech.