Wahdah Islamiyah pertama kali muncul dari perkumpulan pemuda aktivis Muhammadiyah di Makassar yang pernah dibimbing oleh Mayor K.H. Fathul Muin Dg. Maggading, tokoh Muhammadiyah Sulawesi Selatan, pada 1980-an. Perkumpulan tersebut menolak menjadikan Pancasila sebagai asas tunggal seperti yang diusung oleh pemerintah orde baru. Pada 1988, Muhammadiyah mengakui Pancasila sebagai asas tunggal, sehingga para anggota perkumpulan tersebut mengeluarkan diri dari Muhammadiyah. Para aktivis tersebut kemudian mendirikan Yayasan Fathul Muin (YFM) pada 18 Juni 1988. Yayasan pendidikan tersebut berganti nama menjadi Yayasan Wahdah Islamiyah (YWI) pada 19 Februari 1998 dan Yayasan Pesantren Wahdah Islamiyah (YPWI) pada 25 Mei 2000.