İlk yerleşimin M.Ö. 13000 yıllarına kadar uzandığı ilde Kalkolitik, Eski Tunç Çağı, Erken Demir Çağ kültürleri ile Urartu, İskit, Kimmer, Pers, Roma, Arsaklı, Sasani, Emevi Abbasi, Bizans, Bagratlı, Selçuklu, Saltuklu, Moğol, Gürcü, Karakoyunlu, Akkoyunlu, Osmanlı, Rus, Türkiye devletlerinin siyasi hakimiyetleri görülmektedir. Bu kadar kavmin geçtiği bugünkü Kars topraklarında başta Yerli, Kürt, Terekeme (Karakalpak) ve Azeri olmak üzere az sayıda Malakan ve Dukhobor gibi topluluklar da yaşamaktadır.. 11. yüzyılda Kaşgarlı Mahmut eserlerinde, Kars adının ‘deve ve koyunyününden yapılan elbise’, Karsak isminin ise ‘derisinden kürk yapılan bozkır tilkisi’ anlamına geldiğinden söz etmektedir. Kentin ismiyle ilgili bir diğer teori ise, M.Ö. 130-127 yıllarında Kafkaslardan gelerek Kars çevresine yerleşen ve bir Türk boyu olan Karsak’lardan geldiği yönündedir.

Kars 1064 yılında Selçuklu Türkleri tarafından feth edilerek Türk Şeddatlı beyliğinin emrine verilmiştir. 1200 yılında Gürcü Atabeylerinin eline geçen bölge 1239’da Moğollar tarafından tahrip edilmiştir. Moğollar Anadolu’dan çekilince 1406’da Karakoyunluların, 1467’de Akkoyunluların eline geçmiştir. 1535 yılından itibaren Kars Osmanlı İmparatorluğu’nun topraklarına katılmış, 1877-1878 (93 harbi) Osmanlı-Rus harbine kadar önce İranlı’lara sonra Ruslara karşı en büyük askeri üst olmuştur. İl 1878-1918 yılları arası 40 yıl Rus işgalinde kalmıştır. 30 Ekim 1920’de Kazım Karabekir yönetimindeki Türk Ordusu Kars’ı alarak Türk topraklarına katmıştır.