Malá skupina babylonských Židů zůstala v Babylonu po dobytí Peršany a později sehráli důležitou roli ve vývoji židovské kultury a náboženství během období druhého chrámu. Babylonský Talmud, jeden z nejdůležitějších textů židovského práva, byl během této doby sestaven v Babylonu.
V 7. století našeho letopočtu dobyli Babylón arabští muslimové a stal se součástí islámského světa. Město nadále upadalo a do 10. století bylo z velké části opuštěno. Dnes leží ruiny Babylonu poblíž města Hillah v dnešním Iráku.