Вики говорит, что так называли времена, когда Пап не было в Риме, в том числе Авиньонское пленение.
Но Вавилон это Каир, в то время - богатейшее место в мире, и Папам там быть - самое место.
Плюс Каир на мамлюкском - топкое место.
Версия: одно время Папы сидели в Каире (Вавилоне).
А потом произошло подтопление, и их перетащили сначала в Авиньон, а затем и в Рим.