Castagne začal svou kariéru ve Virtonu, kde v roce 1995 debutoval mezi profesionály. V roce 1997 se přestěhoval do Anderlechtu, kde vyhrál tři tituly belgické profesionální ligy a dva belgické poháry. V roce 2004 nastoupil do Milána, kde v roce 2004 vyhrál titul Serie A a v roce 2007 Ligu mistrů UEFA.
Castagne debutoval v reprezentaci za Belgii v roce 1999. Za svou zemi odehrál 54 zápasů a vstřelil čtyři góly. Reprezentoval Belgii na Mistrovství světa ve fotbale 2002 a Mistrovství Evropy 2000.
Po odchodu z fotbalu v roce 2008 Castagne pracoval jako učenec pro belgickou televizi a rozhlas. Je také úspěšným obchodníkem, založil několik společností.
V roce 2021 byl Castagne uveden do Síně slávy belgického fotbalu.