Göle, 1551'de Erzurum'a, 1579'da Kars eyaletine bağlanmıştır. 1830'da merkezi Dedeşen köyü olarak Çıldır Sancağı'na, 1866'da bucak merkezi statüsüyle Ardahan kazasına bağlanmıştır. 1878'de Rus işgalinden sonra ise, kaza merkezi Merdinik köyü (şimdiki ilçe merkezi) olmuştur.İlçe; Kazım Karabekir Paşa kuvvetleri ve milislerce 30 Eylül 1920'de Rus işgalinden kurtarılmış ve kırk yıl süren esaret altından çıkmıştır. Bu tarihten 1992 yılına kadar Kars iline bağlı bir ilçe olan Göle, 1992 yılında Ardahan iline bağlanmıştır.
Göle ilçe merkezinde belediye teşkilatı 1926'da kurulmuştur. Son olarak, 27 Mayıs 1992 tarihinde 3806 sayılı kanun ile Ardahan iline bağlanmıştır.