Sebelum dimulainya pembangunan perumahan Bumi Asri di Kecamatan Medan Helvetia, dulunya lokasi ini adalah hutan tepatnya semak belukar. Ada banyak pohon-pohon kayu, sawah dan rawa-rawa. Tidaklah mengherankan ketika perumahan ini resmi dibuka, ada yang menjadikan sebagai tempat tinggal baru dan ada juga menjadi rumah tersebut sebagai investasi di masa depan.
Sama seperti perumahan lainnya, masjid bukanlah fasilitas yang utama dan pertama disiapkan oleh pengembang. Sepertinya hal ini didasarkan adanya keyakinan kalau lokasi perumahan sudah dihuni umat Islam, terlebih jika jumlah lebih dari 40 KK, maka dipastikan dapat membuat tempat ibadah sendiri.
Keinginan untuk membangun masjid semakin kuat walau warga muslim di Bumi Asri masih sedikit. Dorongan tersebut semakin kuat sehingga menjadi perbincangan di setiap pertemuan Ibu-ibu di dalam Majlis Ta’lim yang mana sebelum dibangun masjid, di Bumi Asri terlebih dahulu berdiri Majlis Ta’lim kaum Ibu-ibu pada tahun 1987-1988 yang diberi nama Majlis Ta’lim Al-Amin.
Demikianlah yang terjadi dengan Masjid Al Muhajirin Perumahan Bumi Asri. Masjid Al Muhajirin berdiri pada tahun 1998 dengan luas 2.325 m. Berawal dari keinginan warga muslim Bumi Asri untuk mendirikan masjid mengingat jumlah umat Islam yang semakin banyak. Masjid yang akan dibangun diharapkan bukan saja tempat shalat fardu, tetapi juga tempat membicarakan banyak hal yang berkenan dengan umat.
Singkat cerita salah satu warga (Pak Yopi) membantu dengan menyiapkan lahan seluas 2300 m dan bantuan dana sebesar Rp. 10.000.000. Beranjak dari dana tersebut, panitia mulai bergerak dengan memperkirakan dana sebesar Rp. 600 Juta. Terasa mustahil, tetapi mereka sadar bahwa membangun rumah Allah di muka bumi, pasti Allah akan bantu. Menarikhya, warga ternyata cukup semangat dan yakin bahwa dana tersebut bukanlah sesuatu yang mustahil untuk dipersiapkan.
Peletakan batu pertama pembangunan masjid dilaksanakan pada tahun 1998. Kekompakan jamaah terlihat pada kerjasama yang sangat bagus terutama dalam hal penggalangan dana. Tidak saja dana-dana dari warga Bumi Asri tetapi juga dari dermawan, donatur dan lembaga-lembaga lainnya. Yang menggembirakan perkembangan dana memperlihatkan trend yang positif dari hari ke hari. Dana seolah mengalir deras. Permbangunan terus berjalan. Mendengar informasi dari narasumber seolah-olah pintu langit terbuka dan qalbu para derawan tersentuh dan masyarakat mendorong bahu membahu untuk mendirikan masjid yang menjadi saksi bagi amal saleh dihari akhir kelak.
Nama masjid dipilih adalah Al-Muhajirin. Terbayang kala itu sahabat-sahabat Nabi yang hijrah dari Makkah ke Madinah Al-Munawwarah. Orang pendatang itu disebut dengan Al-Muhajirin. Sedangkan penduduk kota Madinah disebut Al-Anshar yaitu orang yang menolong kaum muhajirin. Sayangnya di komplek Bumi Asri, penduduk aslinya yang disebut Al-Anshar tidak ada sama sekali. Dengan demikian, kaum Muhajirin awal yang datang ke Bumi Asri saat ini patut disebut Al-Anshar karena sudah berubah menjadi penduduk asli.
Demikianlah setelah masjid dibangun secara gotong royong itu selesai, segera masjid dimanfaatkan untuk pelaksanaan ibadah seperti shalat lima waktu berjamaah dan peringatan hari besar Islam. Untuk pertama kalinya Masjid Al Muhajirin digunakan sebagai tempat pelaksanaan Shalat Idul Fitri tahun 1999.
Satu hal yang tidak dapat dilupakan adalah antusiasme masyarakat untuk membangun masjid Al Muhajirin cukup besar. Mereka bahu membahu memberi infaq untuk penyelesaian masjid. Bahkan satu peristiwa yang menjadi sejarah indah Masjid Al Muhajirin adalah terbangunnya Menara Masjid pada bulan Oktober 2002 sebagai tempat pemancaran suara Azan ke seluruh area komplek dan sekitarnya. Menara ini berdiri atas waqaf pribadi dari Almarhum H.M Saleh Nasution.
Kepengurusan BKM dari waktu ke waktu yakni ketua BKM/Nazir Masjid Al Muhajirin Bapak Iman Santoso (1998), kemudian dilanjutkan oleh bapak Yakub (alm), kemudian diteruskan oleh Bapak H. Minto Sudarsono (2008-2010), Bapak H. Amir Hamzah (2010-2011), Bapak alm. H. Adrel Horen (2011-2013), Bapak H. Muhammad Jaim Madjid (2013-2021).
Saat ini Masjid Al Muhajirin termasuk masjid yang besar di kota Medan, dapat menampung 800-1000 jama’ah. Masjid ini dilakukan renovasi diberbagai sisi, dengan demikian akan lebih luas dan terasa lebih lapang. Ruangan belakang ini kerap digunakan sebagai tempat musyawarah BKM, STM, Bina Muallaf dan pengajian Ibu-ibu majlis Ta’lim Al-Amin.