Sebelum Wafat, Buya Syafii Maarif Sumbang Kulkas ke Masjid Nogotirto untuk Persiapan Idul Adha

Merantau ke Jawa

Pada tahun 1953, dalam usia 18 tahun, ia meninggalkan kampung halamannya untuk merantau ke Jawa.

Bersama dua adik sepupunya, yakni Azra'i dan Suward, ia diajak belajar ke Yogyakarta oleh M. Sanusi Latief.

Namun, sesampai di Yogyakarta, niatnya semula untuk meneruskan sekolahnya ke Madrasah Muallimin di kota itu tidak terwujud, karena pihak sekolah menolak menerimanya di kelas empat dengan alasan kelas sudah penuh.

Tidak lama setelah itu, ia justru diangkat menjadi guru bahasa Inggris dan bahasa Indonesia di sekolah tersebut tetapi tidak lama.

Pada saat bersamaan, ia bersama Azra'i mengikuti sekolah montir sampai akhirnya lulus setelah beberapa bulan belajar.

Setelah itu, ia kembali mendaftar ke Muallimin dan akhirnya ia diterima tetapi ia harus mengulang kuartal terakhir kelas tiga.

Selama belajar di sekolah tersebut, ia aktif dalam organiasi kepanduan Hizbul Wathan dan pernah menjadi pemimpin redaksi majalah Sinar (Kini Dibawahi oleh Lembaga Pers Mu'allimin), sebuah majalah pelajar Muallimin di Yogyakarta.

Setelah ayahnya meninggal pada 5 Oktober 1955, kemudian ia tamat dari Muallimin pada 12 Juli 1956, ia memutuskan untuk tidak melanjutkan sekolahnya, terutama karena masalah biaya.

Dalam usia 21 tahun, tidak lama setelah tamat, ia berangkat ke Lombok memenuhi permintaan Konsul Muhammadiyah dari Lombok untuk menjadi guru.

Sesampai di Lombok Timur, ia disambut oleh pengurus Muhammadiyah setempat, lalu menuju sebuah kampung di Pohgading tempat ia ditugaskan sebagai guru.

Setelah itu, ia melanjutkan pendidikannya untuk tingkat sarjana penuh (doktorandus) pada Fakultas Keguruan Ilmu Sosial, IKIP (sekarang Universitas Negeri Yogyakarta) dan tamat pada tahun 1968.[9] Selama kuliah, ia sempat menggeluti beberapa pekerjaan untuk melangsungkan hidupnya.

Ia pernah menjadi guru mengaji dan buruh sebelum diterima sebagai pelayan toko kain pada 1958.

Setelah kurang lebih setahun bekerja sebagai pelayan toko, ia membuka dagang kecil-kecilan bersama temannya, kemudian sempat menjadi guru honorer di Baturetno dan Solo.

Selain itu, ia juga sempat menjadi redaktur Suara Muhammadiyah dan anggota Persatuan Wartawan Indonesia.