Muhammad Hasyim lahir di desa Gedang, Jombang, 14 Februari 1871. Ayahnya bernama KH M Asy’ari bin Kiai Abdul Wahid bin Kiai Abdul Halim bin Raden Benowo bin Jaka Tingkir (Raja Pajang bergelar Sultan Hadiwijaya) bin Ki Ageng Pengging (Boyolali) bin Maulana Abdul Fatih bin Maulana Ainul Yaqin (Sunan Giri) bin Maulana Ishak bin Maulana Malik Ibrahim (Gresik).
Ibunya bernama Halimah, putri Kiai Usman, pemilik Pondok Pesantren Gedang. Hasyim adalah putra ketiga dari sebelas bersaudara.
Tanda-tanda kebesaran Hasyim terlihat sejak dalam masa kandungan ibunya. Konon kabarnya, di awal kandungannya, ibunya bermimpi melihat bulan purnama jatuh dari langit dan tepat menimpa perutnya. Tanda-tanda keajaiban lainnya adalah lama mengandung sang ibu, yaitu 14 bulan. Dalam pandangan masyarakat Jawa, kehamilan yang sangat panjang, menandakan kehebatan sang bayi di masa depan. Di masa mengandungnya, ibunya sering melakukan puasa, shalat malam dan berzikir pada Allah SWT.
Sejak masih bayi, Hasyim tinggal di Pesantren Gedang milik kakeknya dari pihak ibu, yaitu Kiai Usman. Sedangkan ayahnya, Muhammad Asyari diserahi menjadi lurah pondok di sana. Maka sejak bayi, Hasyim sudah terbiasa mendengar alunan suara merdu Al-Qur’an dari ibu, ayah maupun para santri asuhan ayahnya.
Hasyim kecil juga sering duduk di pangkuan ayahnya yang sedang mengajar para santri. Begitu pula ketika ayahnya shalat, ia sering mengikuti gerakannya, meski ia belum mengerti makna shalat.
Ketika kecil, Hasyim juga sudah menunjukkan bakat kepemimpinannya. Ia suka memperingatkan teman-temannya kalau berbuat curang dalam permainan. Ia juga suka memberikan kepada teman-temannya barang-barang miliknya. Baik itu barang permainan, pakaian yang masih bagus dan lain-lain.
Sejak kecil ia mendapat pendidikan Islam yang bagus dari ayah dan kakeknya. Ia adalah anak yang sangat cerdas, yang cepat menyerap dan menghafal ilmu yang diberikan. Karena itu ia ingin menambah ilmu, dari tempat yang lain.
Mulailah Hasyim belajar mencari ilmu di Pesantren Wonokoyo (Probolinggo), Pesantren Langitan (Tuban), dan Pesantren Kademangan di Bangkalan (Madura). Di pesantren-pesantren itu, Hasyim dikenal sebagai santri yang cerdas, pemberani dan hormat pada guru-gurunya.
Hingga suatu kali ada kejadian yang menggemparkan. Yaitu suatu hari, cincin dari Nyai Kholil –istri Kiai Kholil Kademangan- jatuh di tempat kotoran manusia yang menjijikkan. Tidak seorang santripun berani untuk mengambilnya, karena jijik, kotor dan najis. Hanya Hasyim yang berani turun untuk mencarinya. Kawan-kawannya memperingatkan dan mencemoohnya tapi Hasyim tidak peduli. Setelah lama-lama mengobok-obok tempat itu, akhinya Hasyim menemukannya. Cincin itu dibersihkannya dan kemudian diserakannya kepada Nyai Kholil.
Setelah melanglang buana ke beberapa pesantren, Hasyim akhirnya kembali ke Pesantren Gedang. Tapi tidak lama mengajar di tempat ayahnya itu, ia kembali ingin mencari ilmu di tempat yang jauh. Kali ini kakeknya menunjukkannya ke Demak, Pondok Pesantren Darat milik KH Saleh Darat.
Di tempat itulah, Hasyim yang saat itu umurnya baru 14 tahun berlabuh. Ia bersama Muhammad Darwis menjadi murid kesayangan KH Saleh Darat. Keduanya sama-sama tekun, cerdas dan hormat pada gurunya. KH Saleh Darat yakin bahwa keduanya kan pemimpin yang akan mewarnai negeri ini.
Setelah KH Saleh Darat wafat, Hasyim kembali ke Pesantren Gedang. Ia sering mengganti ayahnya mengajar para santri. Tapi lagi-lagi Hasyim merasa ilmunya belum cukup. Ia ingin mengembara lagi. Kali ini yang menjadi pilihannya adalah Pesantren Siwalan, Sidoarjo pimpinan KH Ya’kup.
Hasyim mondok di Pesantren Siwalan cukup lama, sekitar lima tahun. Karena kecerdasan dan ketekunan Hasyim ini, KH Ya’kup tertarik untuk mengambil menantu Hasyim. Saat ditawari tentang maksud Kiainya ini, Hasyim keberatan karena ia ingin terus memperdalam ilmunya. KH Ya’kup kemudian menasihatinya,
“Anakku Hasyim, benar kata Imam Mawardi dalam kitabnya Minhajul Yaqin bahwa orang yang memperdalam ilmu agama itu bagaikan orang yang sedang berada di lautan luas. Semakin jauh ke tengah bukan bertambah sempit, sebaliknya semakin luas dan dalam. Maka tidak beralasan bagi seseorang berhenti mencari ilmu karena perkawinan…”
Nasihat gurunya itu diperhatikannya benar. Akhirnya Hasyim luluh hatinya dan menerima permintaan gurunya. Setelah menikah, Hasyim dan istrinya diberangkatkan haji oleh mertuanya.
Di Mekkah inilah Hasyim makin bersemangat menggali ilmu lebih dalam. Di sana ia belajar dengan Syekh Ahmad Khatib Minangkabawi, Syekh Abdul Hamid al Darustany, Syekh Muhammad Syuaib dan lain-lain. Syekh Ahmad Khatib adalah ulama besar Indonesia yang menjadi imam, khatib dan guru besa di Masjidil Haram. Ia juga menjadi Mufti Mazhab Syafi’i pada abad 19 dan 20. Ia telah menulis 49 buku yang penyebarannya sampai ke Syria, Turki dan Mesir.
Setelah merasa cukup menimba ilmu di Mekkah, Hasyim pulang ke tanah air. Ia mengganti namanya menjadi Haji Hasyim Asy’ari untuk menghormati ayahnya.
Ia kemudian kembali ke Pesantren Gedang, milik kakeknya. Meski umurnya baru 20 tahun, tapi ilmunya tidak kalah dengan bapak dan kakeknya. Ditambah pengalamannya belajar ke banyak pesantren menjadikan Kiai Hasyim semakin matang mendidik para santri. Mereka menganggap bahwa apa yang disampaikan Kiai Hasyim lebih mudah untuk diterima akal dan mudah untuk diamalkan.
Pada 1893, Kiai Hasyim kembali melakukan ibadah haji yang kedua. Ia kembali menggali ilmu lebih dalam di sana. Ia belajar kepada Syekh Mahfud at Tarmasy pemimpin Pesantren Tremas, Pacitan Jawa Timur. Syekh terkenal sebagai ahli hadits, khususnya hadits Imam Bukhari. Dari Syekh Mahfudz inilah ia mendapat ijazah untuk mengajar hadits shahih Imam Bukhari.
Ia juga belajar dengan Al Alamah Sayid Alawi bin Ahmad al Saqqaf, Sayid Husseini al Habsy al Mufty, dan lain-lain. Di Mekkah ini Kiai Hasyim banyak bergaul dengan teman-temannya dari luar negeri seperti India, Pakistan, Birma dan Malaysia.
Setelah enam tahun belajar di Mekkah, pada 1899 Kiai Hasyim kembali ke tanah air. Ia kembali ke Jombang daerah kelahirannya. Sekarang ia ingin membangun pesantren sendiri. Tapi ia ingin pesantren itu dibangun dekat dengan orang-orang ahli maksiyat, pemabuk, penjudi, perampok, peminum dan lain-lain. Tentu saja keinginannya ini banyak yang menentangnya. Termasuk ayahnya. Sehingga ayahnya bertanya lebih lanjut kepadanya.
Kiai Hasyim yang saat itu berusia 28 tahun menjawab, ”Ayah, bukankah Islam itu agama yang rahmatan lil alamin? Agama yang mengajarkan kebaikan? Kalau kita mengajarkan agama kepada orang-orang yang sudah baik, lalu apanya yang perlu diperbaiki? Terus, siapa yang harus memperbaiki moral orang-orang yang masih banyak berlumpur dosa itu, kalau tidak ada yang peduli pada mereka?”
Akhirnya ayahnya mengerti dengan penjelasan anaknya. Ia mendukung sepenuhnya keinginan anaknya untuk mendirikan pesantren di daerah yang banyak kriminal itu, yaitu di Desa Tebuireng. Desa Tebuireng terletak di Kecamatan Diwek, Kabupaten Jombang, Jawa Timur. Desa itu terletak 10 km arah selatan Jombang.
Sekeliling desa itu banyak persawahan. Tapi ada juga warung remang-remang yang dijadikan penduduk untuk tempat pelacuran dan bermabuk-mabukan. Pemerintah Belanda sendiri juga sering mengadakan acara hiburan di sekitar desa itu yang biasanya diiringi joget dan minum-minuman keras.
Tentu hal itu menjadi tantangan tersendiri bagi Kiai Hasyim. Tetapi selama bulan-bulan pertama membangun pesantrennya dengan Sembilan santri, Kiai Hasyim melatih santri-santrinya untuk berkebun atau menanam sayur-sayuran. Karena ceramah Hasyim yang menyentuh masyarakat sekitar sehingga santrinya khirnya bertambah menjadi 50 orang. Sebagian adalah mantan pemabuk, penjudi dan lain-lain.
Hasil kebunnya pun meningkat. Sebagian hasil panennya dijual ke pasar untuk memenuhi kebutuhan pesantren, yaitu beras, lauk-pauk, minyak dan lain-lain.
