Kabupaten Mandailing Natal berdiri pada tanggal 11 maret 1999 yang diresmikan oleh Gubernur Sumatera Utara Bapak T. Rizal Nurdin dengan Pejabat Bupati Bapak H. Amru Daulay, SH. Program kerja yang pertama kali dilakukan Bupati Mandailing Natal yaitu melaksanakan kunjungan ke kecamatan-kecamatan untuk menampung aspirasi dari masyarakat. Salah satu aspirasi masyarakat kabupaten Mandailing Natal adalah untuk mendirikan Perguruan Tinggi yang dikaitkan dengan potensi keberadaan 23 Pondok Pesantren di wilayah Kabupaten Mandailing Natal.
Pada tanggal 2 Oktober 2000 dibentuklah Yayasan Universitas Madina dengan diterbitkannya Akta Notaris Nomor 3 tanggal 2 Oktober tahun 2000, sebagai Ketua Yayasannya adalah Bupati Mandailing Natal. Akta ini diubah menjadi Akta Notaris Nomor 7 tanggal 8 Pebruari tahun 2002. Berdasarkan Surat Keputusan Ketua Yayasan Universitas Madina Nomor 001/YUM/2000, tanggal 5 Oktober 2000, Sekolah Tinggi Agama Islam Mandailing Natal mulai beroperasi Tahun Akademik 2000-2001 dengan tiga jurusan yaitu:
Pada tanggal 4 April 2006 diterbitkan Peraturan Bupati Mandailing Natal Nomor 451.4/169/P/Tahun 2006 tentang Pembentukan Badan Layanan Umum Sekolah Tinggi Agama Islam Mandailing Natal (selanjutnya disingkat BLU-STAIM), dengan demikian STAIM berada dan bertanggungjawab kepada Bupati Mandailing Natal, bukan lagi kepada Yayasan Universitas Madina.
Tahun 2016, keluar Peraturan Pemerintah Nomor 18 Tahun 2016 tentang Perangkat Daerah. Berdasarkan peraturan tersebut, STAIM tidak bisa lagi berada di baawah Pemerintah Daerah Kabupaten Mandailing Natal, sehingga STAIM harus menjadi sewasta murni, sehingga pengelolaan STAIM dialihkan kepada Yayasan Pendidikan Mandailing Natal (YPMN).
Pada tanggal 25 Januari 2018 Menteri Agama Republik Indonesia menandatangani Perturan Menteri Agama Republik Indonesia Nomor 4 Tahun 2018 tentang pendirian Sekolah Tinggi Agama Islam Negeri Mandailing Natal, yang selanjutnya disebut STAIN Madina. STAIN Madina mempunyai dua Program Studi, yaitu:
dan pada saat sekarang telah memiliki tiga belas (14) Prodi baru, yaitu:
Dengan demikian, saat ini STAIN Madina sudah memiliki lima belas (16) Prodi. Dibidang administrasi STAIN Madina dipimpin oleh Kepala Bagian Administrasi Umum Akademik dan Keuangan (AUAK). Kabag AUAK dibantu oleh dua Kasubbag, yaitu Kasubbag Administrasi Umum Keuangan dan Kasubbag Akademik Kemahasiswaan