Osmanlı-Rus Savaşı (’93 Harbi, 1877-1878) sırasında Kafkasya’dan Kars’a göçen bir ailenin çocuğu olarak 1910 yılında Kars’ın Yusufpaşa mahallesinde dünyaya geldi. Birinci Dünya Savaşı’nda Kars’ın, Ruslar’ın eline geçmesiyle 1915 yılında 5-6 yaşlarındayken ailesiyle göç etti. Günlerce süren yolculukta yolda hasta olan annesini Borçka’da kaybetti. Babaannesi, babası, iki amcası ve küçük kızkardeşi ile Bayburt’a yerleştiler. Ruslar Bayburt’u da ele geçirmeden önce aile yürüyerek Erzincan’a göç etme kararı aldı. Nörkah yakınlarında küçük kızkardeşi Sanem yolda kayboldu. Amcaları Nörkah’tan göç edip Koyulhisar’a yerleşti. Ruslar Bayburt’tan çekilince Babaannesi ve babasıyla dönüp Bayburt’a yerleştiler. Babası Ermenilerle yapılan Kop Savunması muharebesinde şehit oldu.  

Remzi Çavuldak’ı Bayburt’ta yaşlı babaannesi büyüttü. Küçük yaşlarında çobanlık yaptı. İlk çalgısı olan kavalı bir çobandan öğrendi. Sürüsünü bırakıp bir düğünü seyre dalınca koyunlar tarlada ekinleri yediler. Bu nedenle o yıl hakkettiği ücreti alamayınca yaşlı babannesinin itirazlarına rağmen Erzincan’a 16 yaşında gurbete gitti. Orda aşçı yamaklığı, kahvecilik ve terzi çıraklığı yaparken bir yandan da Erzincan askeri lisesinde çeşitli alanlarda verilen kurslardan nota ve çalgı kursuna devam etti. Başarılı bir öğrenci oldu ve işlerden kazandığı para ile kendisine göğsünün yarısı tahta yarısı deri olan ‘ahenk’ isimli bir çalgı aldı. Bayburt’a 19 yaşında döndüğünde babaannesinin öldüğünü öğrenince çok üzüldü.

Ailesi 1920 yılında  Batum’dan Bayburt’ta göç etmiş olan 14 yaşındaki amcasının kızı Gülüzar hanımla 1929 yılında evlendi. Bu evlilikten 11 çocukları oldu. Bayburt’ta erken Cumhuriyet’in hoşgörülü ortamı, halkın müzik icrasına imkân verince, o da engin müzik yeteneğini bu alana çevirdi. Başta ud olmak üzere, cümbüş, saz ve kaval çalan usta bir müzisyen oldu.

Bayburt ve çevresinde müzisyen arkadaşları Zakir Peksert (keman), Dursun Üçeş (keman/cümbüş), Burhan Poskov (zilli ve zilsiz tef) ve Abdullah Ahıskalı’dan (klarnet) oluşan topluluk ile düğünlerin ve özel eğlencelerin aranan isimleri oldular. ‘İnce saz’ adı verilen bu tür çalgı toplulukları, Anadolu’nun birçok yerinde olduğu gibi Bayburt’ta da kapalı mekanların ve yeni ses kültürünün vazgeçilmezi hâlini aldı.

Atatürk’ün 10 Haziran 1937 tarihinde Trabzon’a gelmesi üzerine, çevre illerden davet edilen müzik ve oyun ekiplerinin içinde Bayburt’un ince saz takımı da yer alır. Burada Bayburt havaları, barları ve yeni bestelenip düzenlenen Mehmet Turan Barı icra edlir. Hatta kız-erkek beraber oynanan bu oyuna, Atatürk kalkıp dönüşlü bir figür de kendi ekler.

Remzi Çavuldak’ın ünü ve eserleri, bu yıllardan itibaren Bayburt sınırlarını aşarak Ankara, İstanbul, İzmir gibi şehirlere ulaşır. 1941 yılında davet edildiği Ankara Radyosu ile şöhreti radyo dalgalarıyla tüm yurda yayılır. 1950 yılında Kore’de Türk Süngüsü isimli filmin müziklerini yapar, bir besteseni çalar ve bayburt Baş Barı’nı oynar. Hemen her yıl İstanbul ve Ankara Radyoları’nda katıldıkları programlarla hem ekibi hem de kendisi büyük beğeni toplar. Aynı ekiple Türkiye’nin birçok yöresinde müzik icrasında bulunan Çavuldak, çok sayıda teklif almasına karşın Bayburt’tan ayrılmayı düşünmemiş bir memleket sevdalısıdır.

Bayburt sevdası, yazdığı söz ve ezgilere de yansır: Bayburt Bayburt Ne Güzel Yurt, Bayburt’um Aşkın Yüce, Bayburt’un İnce Yolunda, memleketiyle ilgili eserlerinden sadece birkaçıdır. Ankara Devlet Konservatuarı’nın derlemeleri sırasında kaynak kişilik yapmış, diğer zamanlarda da Muzaffer Sarısözen, Ahmet Yamacı ve Nida Tüfekçi’nin derlemelerine kaynaklık etmiştir. Yaptığı derlemelerin yanında, beste çalışmaları da olan Çavuldak, şarkı, marş ve film müziği tarzında eserler bestelemiştir.

Bir gün Bayburt Yeni Camii’ne namaz kılmaya gittiğinde, onun geldiğini gören vaiz “... bazıları da hem çalgı çalıp kadın oynatıyor, hem de camiiye geliyor, bu olmaz” deyince, “beni kastettiğinizi biliyorum, şu andan itibaren müziği bırakıyorum” diyerek müzik hayatına 1960 yılında nokta koymuştur. Ölümüne kadar Bayburt’ta küçük dükkanında sebze ve kuruyemiş satarak geçimini temin etmiştir.

1976 yılında 66 yaşında Bayburt’ta yaşama veda etmiştir.

Eserlerinden bazıları şunlardır:

Anam Anam Genç Anam, Ben Feleği Gördüm Taştan İnerken, Batum’dan Bayburt’a Karyola Gelir, Bayburtlu Pek Naza Gelmez, Bayburt Bayburt Ne Güzel Yurt, Bayburt’un İnce Yolunda, Kız Yalın Ayak, Nasıl Vasfeyleyim Hallerin Senin (Baytar), Yanıma Güvenmedim, Köyünün Güzeli Yaylanın Süsü, Gurbet Ellerinde Yaralı Gönül, Bayburt’um Aşkın Yüce, Güzel İstanbul, O Sabah Göğsüne Kar Yağmış, Kop Dağı Oldu Duman, Yirmi Bir Şubat’ta Evler Yıkıldı, Dolaştım Dağlarda ve Mehmetçik (Kore’de Türk Süngüsü filmi için bestelenmiştir.)