Pada awalnya Masjid Raya Al Mashun di rancang oleh Arsitek Belanda Van Erp yang juga merancang istana Maimun, namun kemudian proses-nya dikerjakan oleh JA Tingdeman. Van Erp ketika itu dipanggil ke pulau Jawa oleh pemerintah Hindia Belanda untuk bergabung dalam proses restorasi candi Borobudur di Jawa Tengah.
Sebagian bahan bangunan diimpor antara lain: marmer untuk dekorasi diimpor dari Italia, Jerman dan kaca patri dari Cina dan lampu gantung langsung dari Prancis.
Sultan Ma’mum Al Rasyid Perkasa Alam sebagai pemimpin Kesultanan Deli memulai pembangunan Masjid Raya Al Mashun pada tanggal 21 Agustus 1906 (1 Rajab 1324 H). Keseluruhan pembangunan rampung pada tanggal 10 September 1909 (25 Sya‘ban 1329 H) sekaligus digunakan ditandai dengan pelaksanaan sholat Jum’at pertama di masjid ini. keseluruhan pembangunannya menghabiskan dana sebesar satu juta Gulden. Sultan memang sengaja membangun mesjid kerajaan ini dengan megah, karena menurut prinsipnya hal itu lebih utama ketimbang kemegahan istananya sendiri, Istana Maimun. Pendanaan pembangunan masjid ini ditanggung oleh Sultan.