Mahkamah Syar’iyah Takengon telah dibentuk sejak tahun 1961. Pengadilan Agama tingkat pertama dan tingkat banding di Propinsi Daerah Istimewa Aceh semula dibentuk berdasarkan peraturan Pemerintah No.29 tahun 1957 (Lembaran  Negara tahun 1957 No.73). Akan tetapi Peraturan Pemerintah tersebut kemudian dicabut kembali dan ditetapkan Peraturan Pemerintah No. 45 tahun 1957 ( Lembaran Negara tahun 1957 No. 99 ) untuk keseragaman dasar Hukum dan kewenangan Pengadilan Agama/ Mahkamah Syar’iyah diluar Jawa dan Madura.

Berdasarkan Penetapan Menteri Agama No. 58 tahun 1957 sebagai realisasi dari pasal 12 Peraturan Pemerintah No. 45 tahun 1957, maka sejak tanggal 1 Desember 1957 Daerah Istimewa Aceh terdapat sebuah Pengadilan Agama tingkat banding dengan nama Pengadilan Agama/Mahkamah Syar’iyah Propinsi dan 16 buah Pengadilan Agama tingkat pertama. Selanjutnya berdasarkan Keputusan Menteri Agama No. 62 tahun 1961, sejak tanggal 25 Juli 1961 dibentuk lagi sebuah cabang Pengadilan Agama yang berkedudukan di Takengon dengan nama Mahkamah Syar’iyah Takengon.

Kemudian Mahkamah Syar’iyah Takengon berubah namanya Menjadi Pengadilan Agama Takengon dengan berlakunya Undang-Undang No. 7 tahun 1989 tentang Pengadilan Agama.

Dengan berlakunya Undang-Undang tentang Pengadilan Agama tersebut, maka resmi dan kuatlah keberadaan Badan Peradilan Agama di Daerah Istimewa Aceh ( Vide pasal 106 ayat ( 1 ) Undang-Undang No. 7 tahun 1989 ).

Pada tanggal 3 Maret 2003 berubah lagi nama Pengadilan Agama Takengon menjadi Mahkamah Syar’iyah Takengon, Kemudian dengan lahirnya Keputusan Presiden RI Nomor: 11 Tahun 2003  tentang Mahkamah Syar’iyah dan Mahkamah Provinsi di Provinsi Nanggro Aceh Darussalam.

Sesuai dengan Keputusan Ketua Mahkamah Agung RI. tanggal 06 Oktober 2004, Nomor : 070/K/H/2004, tentang pengalihan sebagian tugas Pengadilan Negeri Ke Mahkamah Syar’iyah, dan  Peresmian Operasional Kewenangan Mahkamah Syar’iyah tersebut oleh Ketua Mahkamah Agung Republik Indonesia tanggal 11 Oktober 2004 di Banda Aceh, maka tugas Mahkamah Syar’iyah melingkupi perkara Perdata dan sebahagian perkara Pidana (Jinayah).

Penandatanganan persetujuan damai antara Pemerintah Republik Indonesia dengan GAM di Helsinki tanggal 15 Agustus 2005 telah melahirkan UU No. 11 tahun 2006 tentang Pemerintah Aceh, yang ikut memperkuat kedudukan Mahkamah Syar’iyah dengan memberi tempat khusus sebagai salah satu alat kelengkapan Pemerinah Aceh yang berfungsi sebagai lembaga yudkatif, dan berdampingan dengan kekuasaan eksekutif dan legislatif daerah.

Mahkamah Syar’iyah merupakan Peradilan Syari’at Islam di Provinsi Nanggroe Aceh Darussalam, sesuai dengan pasal 128 s/d 138 UUPA No. 11 Tahun 2006, jo. Qanun Provinsi Nanggroe Aceh Darussalam No. 10 Tahun 2002 jo. KEPPRES No. 11 Tahun 2003.

Mahkamah Syar'iyah Takengon II, berdasarkan surat keputusan Sekretaris Mahkamah Agung Republik Indonesia Nomor : 022/SEK/SK/V/2009 Tanggal 13 Mei 2009 dinaikan klas nya menjadi klas I B dan diresmikan Oleh Ketua Mahkamah Syar'iyah Aceh, Drs, H. M. Saleh Puteh, S.H di Takengon pada tanggal 30 Juni 2009.