Lahirnya IAIN Ar-Raniry didahului dengan berdirinya Fakultas Syari'ah pada tahun 1960 dan Fakultas Tarbiyah tahun 1962 sebagai cabang dari IAIN Sunan Kalidjaga Yogyakarta. Di samping itu pada tahun yang sama (1962), didirikan pula Fakultas Ushuluddin sebagai Fakultas swasta di Banda Aceh. Setelah beberapa tahun menjadi cabang dari IAIN Yogyakarta, fakultas-fakultas tersebut berinduk ke IAIN Syarif Hidayatullah Jakarta selama enam bulan sampai IAIN Ar-Raniry diresmikan. Pada saat diresmikan pada tanggal 5 Oktober 1963, dengan dikeluarkannya Keputusan Menteri Agama Republik Indonesia Nomor 89 Tahun 1963.

Sebagai IAIN ketiga di nusantara setelah IAIN Sunan Kalidjaga Yogyakarta dan IAIN Syarif Hidayatullah Jakarta, IAIN Ar-Raniry terus maju dan berkembang. Hal ini terlihat, ketika IAIN Ar-Raniry diresmikan (5 Oktober 1963) baru memiliki tiga fakultas, yaitu Fakultas Syari'ah, Fakultas Tarbiyah dan Fakultas Ushuluddin, namun baru berusia 5 tahun telas diresmikan pula Fakultas Dakwah (tahun 1968) sebagai fakultas dakwah pertama di lingkungan IAIN di Indonesia.