Eski Ahit'e göre, Yahuda ve İsrail'in kralı Davut Kudüs'ü Jebusitler'den M.Ö. 1000 yıllarında aldı. Yönetim merkezini Kudüs'e taşıdı, burayı başkent ve inanç merkezi yaptı.

İncil'de yazıldığına göre Davut'un oğlu Süleyman, İbranice "tanrı" anlamına gelen "Yahve" adına ilk tapınağı yaptırdı. Böylece Kudüs Yahudiliğin merkezi haline geldi.

Babil Kralı İkinci Nebukadnezar, M.Ö 597 ve 586'da şehri iki kez fethetti. Yahuda kralı ve toplumun üst tabakasını esir alarak Babil'de gönderdi ve Süleyman Mabedi'ni yıktırdı. Daha sonra Persler şehri ele geçirince sürgündekilerin dönmesine ve mabedin yeninden yapılmasına izin verildi.

M.S 63'e kadar Kudüs Roma İmparatorluğu'nun hakimiyetinde kaldı. Kentteki direniş hareketi M.S 66'da ilk Yahudi-Roma savaşına dönüştü. Savaş dört yıl sonra Roma zaferiyle ve Süleyman Mabedi'nin bir kez daha yıkılmasıyla sonuçlandı. Romalılar ve daha sonra gelen Bizanslılar şehri yaklaşık 600 yıl idare etti.

Suriye topraklarını fetheden Müslüman orduları Filistin'e de ulaştı. İslam Halifesi Hz. Ömer'in emriyle Kudüs 637'de fethedildi.

1070 yılında Papa İkinci Urban'ın emriyle Kudüs'ü Müslümanlardan almak için Haçlı seferleri başlatıldı. 200 yılda Kudüs için beş sefer gerçekleştirildi. Hıristiyanlar ele geçirdikleri şehri fazla tutamadılar ve 1244 yılında Kudüs bir kez daha Müslümanların kontrolüne geçti.

Mısır ve Arabistan'ın Osmanlılar tarafından alınmasının ardından Kudüs 1535'de Osmanlıların hakimiyet altına girdi. Osmanlı yönetiminde kent gelişti. İngilizlerin 1917'de Osmanlı Devleti'ni yenilgiye uğratmasının ardından Kudüs İngilizlerin yönetimine geçti.

Kudüs, Birinci Dünya Savaşının ardından Milletler Cemiyeti tarafından İngiliz mandasına verildi. İkinci Dünya Savaşı ile Birleşik Krallık Filistin Mandası'nın yıkılmasının ardından BM, holokosttan kurtulanlara bir yurt oluşturulması için ülkenin bölünmesine karar verdi. Bunun üzerine bazı Arap ülkeleri İsrail'e savaş açarak Kudüs'ün bir kısmını işgal etti.

Kudüs 1948'den 1967 yılına kadar Ürdün ile İsrail arasında bölünmüş bir kentti. İsrail 1967'de Mısır, Ürdün ve Suriye ile Altı Gün savaşına girdi ve Kudüs 1980 yılında İsrail Parlamentosu Knesset tarafından "İsrail'in ebedi başkenti" ilan edildi.