Beliau termasuk di antara orang-orang yang pertama masuk Islam, bahkan termasuk dalam deretan keenam dari orang-orang yang memeluk agama Islam. Waktu itu usianya belum mencapai 15 tahun. Ia menyaksikan salah satu mukjizat Nabi SAW lalu mengujinya dan masuk Islam tanpa ragu. Sepanjang hayatnya beliau setia terhadap Rasul hingga akhir hayat beliau.
Abdullah Ibn Mas’ud merupakan orang yang kuat menghafal Al-Quran. Ia mendengar ayat-ayat Al-Quran dari Nabi sendiri lalu menghafalnya sesuai dengan yang ia dengar. Nabi SAW pernah berkata: “Barangsiapa ingin membaca Al-Quran seperti keadaan/bacaan ketika diturunkannya, hendaklah ia membaca sebagaimana bacaan Ibn Ummi Abd (Abdullah Ibn Mas’ud).”
Mengenai kisah masuk Islamnya adalah kerana ia menyaksikan sesuatu mukjizat Nabi sebagaimana diriwayatkannya: “Saat itu aku masih muda. Aku menggembala ternak milik Uqbah Ibn Mu’ith. Lalu datanglah Rasulullah SAW bersama Abu Bakar yang sedang menjauhkan diri dari orang-orang musyrik.
Nabi bertanya: “Hai pemuda, adakah engkau memiliki air susu yang boleh kami minum?”
Jawabku: “Tidak ada.”
Sabda Nabi: “Adakah kamu mempunyai seekor kambing betina usia empat tahun yang belum digauli oleh kambing jantan?”
Jawabku: “Ada.”
Kemudian aku membawa kambing tersebut kepada baginda. Nabi memegang kambing itu sambil mengusap-usap tetek kambing seraya berdoa. Tiba-tiba susu kambing itu membesar, lalu Abu Bakar datang menuju baginda sambil membawa sebuah bekas, dan baginda memerah susu ke dalam bekas tadi. Setelah itu Rasulullah meminum susu tersebut lalu sisanya diberikan kepada Abu Bakar, kemudian diberikan kepadaku.
Sesudah itu Nabi SAW bersabda yang ditujukan kepada susu kambing: “Menyusutlah.” Seketika itu juga susunya mengempis. Aku berkata kepada baginda: “Wahai Rasulullah, ajarilah aku ucapan tersebut!” Baginda menjawab: “Engkau adalah pemuda yang pandai!” Setelah aku masuk Islam, aku hafal 70 surat dari lisan baginda sendiri. Dan tiada seorangpun yang dapat menandingi aku dalam hal ini.”
Sejak pertemuan pertama dengan Rasulullah dan kesaksiannya terhadap mukjizat tersebut, Abdullah Ibn Mas’ud mencapai darjat yang tinggi dalam iman. Dirinya dipenuhi dengan cahaya kebenaran dan setia kepada Nabi. Beliau menghafal wahyu satu demi satu dan membaca Al-Quran sebagaimana ia mendengarkannya dari Nabi. Beliau termasuk orang pertama yang mengumandangkan Al-Quran di hadapan kaum Quraisy tanpa rasa takut akan kemarahan dan balas dendam mereka kepadanya.
Dia adalah seorang pemuda berbadan kurus, tidak memiliki suatu kesenangan duniawi. Ia merasa cukup kuat dengan kurnia Tuhan-Nya, sehingga menjadikannya pemberani dalam menghadapi peristiwa yang berbahaya. Waktu itu para sahabat Nabi berharap agar kaum Quraisy mahu mendengarkan Al-Quran, akan tetapi siapa yang berani mengumandangkan bacaannya di hadapan mereka? Hal ini merupakan peristiwa yang memerlukan keberanian dan pengorbanan teristimewa sekali kerana kaum Quraisy bersikap memusuhi terhadap agama baru (Islam).
Tentu saja siapa pun yang berani mengumandangkan Al-Quran, yang merupakan seruan untuk memeluk agama itu, akan menemukan gangguan kaum Quraisy. Yahya Ibn Umayyah meriwayatkan peristiwa tersebut dengan ucapannya:
“Abdullah Ibn Mas’ud merupakan orang yang pertama mengumandangkan Al-Quran setelah Rasulullah SAW.
Suatu ketika para sahabat Nabi berkumpul, lalu mereka berkata: “Demi Allah, kaum kafir Quraisy tidak mendengar Al-Quran ini dikumandangkan sama sekali. Siapakah gerangan orang yang berani membuat mereka mendengarkannya?”
Spontan Abdullah Ibn Mas’ud berkata: “Saya!”
Para sahabat Nabi berkata: “Kami mengkhuatirkan keadaanmu. Kami menghendaki adanya seorang lelaki yang memiliki kabilah tersendiri yang boleh mencegah mereka darinya, jika mereka mahu.”
Jawab Abdullah Ibn Mas’ud: “Setelah itu, sesungguhnya Allah akan membelaku.”
Kemudian berangkatlah Ibn Mas’ud hingga sampai pada tempat yang tinggi sedangkan kaum Quraisy ada di bawahnya. Ia berdiri lalu membaca: “Bismilla hirrahma nirrahim (dengan suara keras), ar-rahma ‘allamal Quran.” Setelah itu ia membaca di hadapan kaum kafir Quraisy.
Timbullah dua ucapan dari mereka: “Apa yang diucapkan oleh Ibn Ummi Abd? Ia membaca sebahagian dari yang dibaca/dibawa oleh Muhammad. Lantas mereka berdiri menuju kepadanya. Terjadilah apa yang dikehendaki oleh Allah. Setelah itu ia pulang menuju para sahabatnya dengan penuh derita di wajah dan badannya.
Para sahabat berkata: “Inilah yang aku takutkan terjadi padamu.”
Maka jawabnya: “Musuh-musuh Allah itu hanya perkara kecil bagiku sekarang. Andaikata engkau inginkan lagi, tentu aku akan berangkat seperti ini lagi besok.”
Jawab mereka: “Cukup bagimu.” Mereka telah mendengarkan apa yang mereka benci.”
Peristiwa hebat ini menjelaskan sejauh mana Abdullah Ibn Mas’ud mengalami pengorbanan demi memperoleh keredhaan Allah dan Rasul-Nya. Pemuda miskin ini berani menghadapi mereka tanpa dukungan kabilah yang ia miliki, menghadap (kaum) Quraisy yang memiliki harta yang berupa kekuasaan. Ia memikul beban gangguan dengan redha asal mereka dapat mendengarkan apa yang mereka benci.
Ketika Nabi mengizinkan sebahagian sahabatnya berhijrah, Abdullah Ibn Mas’ud berhijrah dua kali. Saat itu ia mencapai usia dewasa lalu kembali ke Makkah setelah jumlah kaum muslimin bertambah, dan Islam bertambah kekuatan, kemuliaan dan pertahanan.
Ketika Rasulullah mengizinkan hijrah ke Madinah, Abdulah Ibn Mas’ud ikut hijrah dan menjumpai Mu’adz Ibn Jabal. Di situlah Nabi mempersaudarakan antara umat Islam. Beliau mempersaudarakan antara Abdullah Ibn Mas’ud dengan Zubair Ibn al-Awwam dari kalangan Muhajirin, dan antara Abdullah Ibn Mas’ud dengan Mu’adz Ibn Jabal dari kalangan al-Ansar. Ia memperoleh keuntungan yang banyak kerana dekatnya dengan Nabi. Ia mendirikan rumahnya berdekatan dengan masjid Rasul.
Nikmat yang dikurniakan oleh Allah kepada Abdullah Ibn Mas’ud ini menjadikan para sahabat berharap seandainya mereka juga boleh memperoleh seperti itu. Mereka berkata: “Sesungguhnya ia boleh masuk saat kita terhalang, dan dapat menyaksikan saat kita hadir.” Mereka menganggap hal tersebut sebagai kurnia yang melimpah kerana dekatnya dengan tempat Rasul.
Sebahagian dari perkara yang menunjukkan amat cintanya Nabi SAW kepada Ibn Mas’ud adalah beliau memintanya membaca beberapa ayat Al-Quran al-Karim. Suatu ketika Rasulullah bersabda kepadanya: “Bacalah untukku, hai Abdullah.” Jawab Ibn Mas’ud: “Aku membaca untukmu? Padahal wahyu diturunkan kepadamu?”
Jawab Nabi, “Sebenarnya aku ingin mendengarkan Al-Quran dari selain diriku.”