Awalnya Kabupaten Musi Rawas termasuk dalam wilayah keriesidenan Palembang (1825-1966). Hal ini diawali oleh jatuhnya Kesultanan Palembang dan perlawanan Benteng Jati serta Enam Pasirah dari Pasemah Lebar ke tangan pemerintah Belanda. Sejak Saat itu Belanda mengadakan ekspansi da penyusunan pemerintahan terhadap daerah ulu Palembang yang berhasil dikuasainya. Sistim yang dipakai adalah Dekonsentrasi. Kemudian Keresidenan Palembang dibagi atas wilaya binaan (Afdeling), yaitu:

1. Afdeling BanguAsin en Kubustreken, ibukotanya Palembang.
2. Afdeling Palembangsche Beneden Landen, ibukotanya Baturaja.
3. Afdeling Palembangsche Boven Landen, ibukotanya Lahat.

Afdeling Palembangsche Boven Landen dibagi dalam beberapa Onder Afdeling (Oafd):

1. Oafd Lematang Ulu, ibukotanya Lahat.
2. Oafd Tanah Pasemah, ibukotanya Bandar.
3. Oafd Lematang Ilir, ibukotanya Muara Enim.
4. Oafd Tebing Tinggi Empat Lawang, ibukotanya Tebing Tinggi.
5. Oafd Musi Ulu, ibukotanya Muara Beliti.
6. Oafd Rawas ibukotanya Surulangun Rawas

Setiap Afdeling dikepalai oleh Asistent Residen yang membawahai Onder Afdeling yang dikepalai Controleur (Kontrolir). Setiap Onder Afdeling juga membawahi Onder Distric dengan Demang sebagai pimpinannya. Musi Rawas berada pada Afdeling Palembangsche Boven Landen.
Pada Tahun 1907, Onder Distric Muara Beliti dan Muara Kelingi diintegrasikan kedalam satu Onder Afdeling yakni Onder Afdeling Musi Ulu. Tahun 1933, jaringan kereta api Palembang Lahat Lubuk Linggau (dibuat antara tahun 1928-1933) dibuka pemerintah Belanda. Hal ini menyebabkan dipindahkan Ibu Kota Oafd Musi Ulu, Muara Beliti ke Lubuk Linggau, yang menjadi cikal bakal ibukota Kabupaten Musi Rawas.
Pada tanggal 17 Februari 1942, kota Lubuk Linggau diduduki Jepang dan Kepala Oafd Musi Ulu Controleur De Mey serta Aspirant Controleur Ten Kate menyerahkan jabatannya kepada Jepang pada tanggal 20 April 1943. Jepang mengadakan perubahan instansi da jabatan ke dalam bahasa Jepang. Perubahan inilah yang menjadi titik tolak Hari Jadi Kabupaten Musi Rawas. Perubahan Nama tersebut antara lain:
Onder Afdeling Musi Ulu diganti dengan Nama Musi Kami Gun dipimpin Gunce (Guntuyo). Sedangkan Oafd Rawas diganti menjadi Rawas Gun.