Pada awal tahun [[1950-an]], dia memimpin para bekas gerilyawan [[Sulawesi Selatan]] dan [[Sulawesi Tenggara]] dan mendirikan TII ([[Tentara Islam Indonesia]]), yang kemudian bergabung dengan [[Darul Islam]] (DI), dan di kemudian hari dikenal dengan nama DI/TII di [[Sulawesi Selatan]] dan Tenggara.
Pada tanggal [[3 Februari]] [[19601965]], melalui [[Operasi Tumpas]], dia dinyatakan tertembak mati dalam pertempuran antara pasukan TNI dari satuan Siliwangi 330 dan anggota pengawal Kahar Muzakkar di Lasolo. Namun makamnya tidak pernah diberitakan, dan mengakibatkan bekas pengikutnya mempertanyakan kebenaran berita kejadiannya. Menurut kisah, jenazahnya dikuburkan di Kilometer 1 jalan raya Kendari, Sulawesi Tenggara.{{fact}} Tetapi sampai saat ini banyak yang tidak percaya atas kepergiannya karena belum ada bukti nyata tentang keberadaannya di sana. masyarakat disana berkata bahwa Kahar belum meninggal, dan bahwa dia sering berpindah [[tempat]] dan sekarang di tinggal di gua.{{fact}}
