Zelfs tijdens de lange eeuwen van de tweede ballingschap waren er relatief weinig jaren, waarin er geen Joden in Jeruzalem woonden. De perioden waarin alle Joden officieel uit Jeruzalem waren verdreven, waren van 587 tot 537 v. Chr. en opnieuw in het jaar 135, toen Hadrianus alle Joden uit de stad verfdreef en hij elke verbinding met het Joodse volk probeerde te vernietigen. Hij gaf de stad de nieuwe naam ‘Aelia Capitolina’ en verbood elke besnedene de stad binnen te gaan. Deze omstandigheden duurden tot het begin van het Byzantijnse tijdperk, toen in het jaar 362 de Romeinse keizer Julianus de Afvallige de Joden toestond naar de stad terug te keren. De aanwezigheid van een Joodse gemeenschap in Jeruzalem was echter van korte duur. Ze werden opnieuw verbannen tot het jaar 438, toen keizerin Eudocia hun toestond terug te gaan. In 629 werden de Joden nog eens verdreven, maar zij keerden negen jaar later terug bij de Arabische overwinning. In 1099 namen de kruisvaarders de stad in. Op wrede wijze vermoordden zij de hele Joods gemeenschap, mannen, vrouwen en kinderen. Ze lieten gedurende twee eeuwen vrijwel geen Joden over in de stad.
In 1948 vond de laatste poging plaats om de Joden uit Jeruzalem te weren. De Jordaanse autoriteiten zeiden wel dat de Joden die in het oude Joodse kwartier van de stad wilden blijven wonen dat konden doen. Maar de manier waarop de Arabieren vervolgens het hele Joodse kwartier systematisch vernielden, maakte overduidelijk dat het voor de Joden onmogelijk was om er te blijven. De hele gemeenschap van zo’n 1200 mensen vertrok. Negentien jaar lang waren er geen Joden in het oude stadsdeel van Jeruzalem, hoewel de nieuw westelijke stad in Joodse handen bleef. Negentien jaar lang werd er geen Jood toegelaten tot de Westelijke Muur (de Klaagmuur), of tot de oude synagogen in het Joodse kwartier of de Joodse graven op de Olijfberg. Gedurende die jaren werden 58 synagogen waarvan sommige al heel oud waren, verwoest of ontheiligd. Sommige van de overgebleven synagogen werden gebruikt als stallen of kippenhokken el zelfs als toiletten. Van de 50.000 grafstenen op de Olijfberg werden er 38.000 van hun plaats gerukt of vernield. In 1967 kwam hieraan een einde door de bliksemsnelle overwinning van de Israëlische strijdkrachten en de hereniging van Jeruzalem.