DiPada tahun 1908, ia menunaikan ibadah haji ke [[Mekkah]] sekaligus menuntut ilmu agama. Sebelum berangkat ke tanah suci, Muhammad Jamil dipersuntingkan dengan gadis Tambangan yang bernama Saidah, yang kelak mengaruniai dua orang puteri bernama Samsiyyah dan Syafiah. Di Makkah, Muhammad Jamil berguru kepada Syekh [[Ahmad Khatib Al-Minangkabawi]], di mana ia belajar bersama-sama dengan Syekh [[Abdul Karim Amrullah]]. Keduanya oleh Syekh Ahmad Khatib diberikan kesempatan sebagai pengajar pembantu untuk membimbing dan mengajar murid-murid yang lain. Selain kepada Syekh Ahmad Khatib, ia antara lain juga belajar pada Syeikh Alwi al-Maliki dan Syeikh Mukhtar al-Affani. Setelah 10 tahun berada di Mekkah, ia kemudian kembali ke Padang Panjang. Selama di Makkah beliau menikah dengan Zulkaikha keturunan Sicincin Kab. Padang Pariaman tetapi beliau tidak mempunyai keturunan.
