Disebut atau dinamakan Khowarij disebabkan karena keluarnya mereka dari dinul Islam dan pemimpin kaum muslimin. (Fat, juz 12 hal. 283)
Awal keluarnya mereka dari pemimpin kaum muslimin yaitu pada zaman Amirul Mu'minin Al Kholifatur Rosyid Ali bin Abi Thalib رضي الله عنه ketika terjadi (musyawarah) dua utusan. Mereka berkumpul disuatu tempat yang disebut Khouro (satu tempat di daerah Kufah). Oleh sebab itulah mereka juga disebut Al Khoruriyyah. (Mu'jam Al-Buldan li Yaqut Al-Hamawi juz 2 hal. 245)