Aslında her şey, adına 93 harbi denilen önceki kuşakların dillerinden düşürmedikleri, meşhur hikayelerin yaşandığı 1877-1878 Osmanlı-Rus savaşı ile başlamıştı. Harbin neticesinde İmparatorluk mağlup olmuş, Kars, Ardahan, Batum ve Artvin’in bir kısmı Ruslara terk edilmişti. Bu hazin terk ediş, bölgede acı bir teessür bırakmıştı. İşte Bayburt’un sancaklık hikâyesi de bu hüzünlü günlerde gündeme gelmişti. Çünkü Çıldır sancağının merkezi olan Oltu, Ruslara bırakılmış ve sancak idareci ve memurları geçici olarak Bayburt’a gönderilmişti. Bu durumda Çıldır sancağı kanunen vardı ama fiilen ortada yoktu. Çıldır mutasarrıfı Süleyman Paşa Bayburt’ta oturuyor, Erzurum da bu esnada Rus elinde bulunduğu için oranın idarecileri de Erzincan’da ikamete başlıyorlardı.
Gelinen bu noktada 1876 yılı sonlarında Erzurum valiliğine atanan ve 93 harbinde görev alan Karslı Hatunoğlu Kurd İsmail Hakkı Paşa, savaş sonrası oluşan bu yeni durumu Sadaret Makamı’na bildirerek, Çıldır sancağının yerine Bayburt sancağının kurulmasını teklif etmişti. Akabinde bir sürü bürokratik işlemler sonrasında devrin padişahı Sultan II. Abdülhamit’in onayı ile 2 Aralık 1878’de Bayburt Sancağı kurulmuştu. Gümüşhane Sancağı’na bağlı Kelkit ve Şiran kazaları da bu evrede İspir ve Tortum gibi Bayburt’a bağlanmıştı.
Ancak Kelkit ve Şiran kazaları ahalisi, bu durumdan pek memnun olmamıştı. Takdim ettikleri birçok dilekçe ile bu memnuniyetsizliklerini dile getirerek, yeniden Gümüşhane’ye bağlanma isteğinde ısrarlı olduklarını ifade ediyorlardı. Esasında Kelkit ve Şiran’ın Bayburt’tan ayrılmak için öne sürdükleri sebep, daha önce Tortumluların ileri sürdükleri ile birebir aynıydı. Her ikisinde de ortak neden olarak, mesafece Bayburt’a olan uzaklık gösteriliyordu. Kelkit ve Şiranlılar, dilekçelerinde Gümüşhane’ye daha yakın olduklarını ve her türlü alış veriş için buraya gittiklerini, ancak resmi işler için mecburen Bayburt’a gitmek zorunda kaldıklarını ve bu yüzden çeşitli sıkıntılara düştüklerini ifade ederek durumun kendi lehlerine çözülmesini istiyorlardı. Fakat işin aslı hiç de öyle değildi. Kelkit ve Şiran halkını Gümüşhane ileri gelenlerinin yönlendirdikleri ortaya çıkmıştı.
Kelkit ve Şiran’ın ayrılışından beri Gümüşhane merkez ve Torul’dan ibaret kalan Gümüşhane Sancağı mutasarrıfı kazaların yeniden Gümüşhane’ye bağlanması için Trabzon Vilayeti nezdinde girişimde bulunmaktaydı. Arazisinin dağlık olması hasebiyle Gümüşhane halkının ihtiyacı olan hububatın Kelkit ve Şiran’dan sağlanıyor olması, her iki kazanın Gümüşhane için önemini daha da artırmaktaydı. Meseleden haberdar olan Trabzon valiliği de durumu Babıâli’ye bildirerek, Kelkit ve Şiran’ın yeniden Gümüşhane’ye bağlanmasını talep etti.
Trabzon Vilayetinden gelen mazbata ile Erzurum Vilayetinin gönderdiği tahrirat üzerine konu, Şûra-yı devlet dahiliye dairesinde enine boyuna tartışıldı. Trabzon valiliğine göre, Kelkit ve Şiran kazaları, Bayburt Sancağı kurulduğu sırada ne mevki icabı ve ne de siyasi lüzum üzerine Bayburt’a bağlanmıştır. Her iki kaza Bayburt’un sancak olabilmesi için Erzurum vilayetinin isteği üzerine oraya bağlanmıştır. Trabzon Vilayeti, Gümüşhane halkının Kelkit ve Şiran dahilinde yaylaları bulunduğunu ve bu kazalar Bayburt’a bağlı olduğu için yaylalardan halkın istifadesinde sıkıntılar ortaya çıktığını da ileri sürüyordu. Kelkit ve Şiran’ın Gümüşhane’ye bağlanması hususunda çok ısrarlı olan Trabzon valiliği, bu kazaların Bayburt’tan ayrılmaları halinde Bayburt Sancağının lağvedilmesinin gündeme gelmemesi için de; " ... Eğer Bayburd’un sancak olarak kalması lüzumlu ise, o zaman Erzurum’un Bayburd’a yakın mahallerinden münasip olanlardan bazıları Bayburd’a bağlansın ve böylece Bayburd sancağı devam etsin...” şeklinde çok ilginç bir öneride bulunmaktaydı.
Kelkit ve Şiran’ın o dönemde sahip olduğu ormanlık alanlar, Trabzon ve Erzurum vilayetleri için bir cazibe arz ediyordu. Erzurum valiliği, kazaların Gümüşhane’ye bağlanması halinde Bayburt sancağının ormansız kalacağını ve buradan ihtiyaçlarını temin eden yöre halkının sıkıntıya düşeceğini dile getiriyordu. Gümüşhane mutasarrıflığı ise, kazaların Gümüşhane’ye bağlanmasının, yöre halkının bu ormanlardan faydalanmasına engel olmayacağı kanaatindeydi. Şûra-yı Devlet üyeleri durumu enine boyuna tartıştıktan sonra, bu kazaların mesafece Gümüşhane’ye daha yakın olduklarının haritada açıkça görüldüğünü tespit etti. Kelkit ve Şiran’ı Bayburt’a bırakmak istemeyen Gümüşhane mutasarrıfı, Ser-askerlik makamı tarafından bu kazaların askerî işlerinin tekrar Gümüşhane Sancağında görülmesi yolundaki kararını dayanak göstererek, her iki kazanın buraya bağlanmasını ısrarla yineliyordu. Bütün bu gelişmeler sonunda Şûra-yı Devlet dairesi, ahalice mucîb-i suhûlet ve menfaat olmak gerekçesiyle yani yöre halkının menfaati gerekçesiyle Kelkit ve Şiran kazalarının 15 Haziran 1887 tarihinde Gümüşhane’ye iadesine karar verdi.
Dahiliye Nezareti ve ardından sadrazamın onayı ile Kelkit ve Şiran Mart 1888 başından itibaren yeniden Gümüşhane sancağına bağlandı. Bu gelişme Bayburt sancağı için de sonun başlangıcı oldu. Sadece İspir kazasından ibaret kalan Bayburt Sancağı alınan kararla Mart 1888 itibariyle lağvedildi ve böylece Bayburt tekrar kaza statüsüne düşürüldü.