Chociaż sufizm zawsze był związany z duchowym wymiarem islamu, określenie „sufizm” wydaje się być w użyciu dopiero po wielu latach od powstania islamu. Jaka zatem jest jego historia?
W każdym czasie i miejscu istnieli ludzie, których głęboka tęsknota i wewnętrzny niepokój skłoniły do poświęcenia czasu na medytacje, modlitwę i odosobnienie. Taką osobą był prorok Muhammad (s.a.w.s.), który zanim doznał objawienia, często spędzał czas w jaskini niedaleko Mekki, by poświęcać się kontemplacji i oddawaniu czci Bogu.
Później, kiedy powstało wczesne społeczeństwo muzułmańskie, niektórzy spośród towarzyszy Proroka (s.a.w.s.) również byli skłonni do głębokiego wyrażania miłości do Boga. Koran mówi „zaprawdę twój Pan wie, że ty (Muhammad) czuwasz prawie dwie trzecie nocy, a czasami pół lub jedną trzecią, ty i grupa tych, którzy są z tobą”. [Koran LXXIII, 20]
Przewodnictwo, które tworzy podstawę sufickich praktyk, można odnaleźć w Koranie i naukach Proroka (s.a.w.s.). Na przykład praktyka milczącego przywoływania Boga (zikr hafi) była najpierw nauczana przez Proroka i jego przyjaciela, Abu Bakra (r.a.) (zm. 634 AD), kiedy obaj ukryli się w jaskini podczas hidżry, czyli emigracji z Mekki do Medyny.
Suficka praktyka przywoływania Boga na głos (zikr dżali) wywodzi się od przewodnictwa, jakie Prorok (s.a.w.s.) przekazał swojemu zięciowi Alemu (r.a.) (zm. 661).
Miraż, czyli podroż nocna Proroka (s.a.w.s.) była inspiracją mistyków jako metafora duchowej podroży. Prorok (s.a.w.s.) został zabrany przez Boga z Mekki do Jerozolimy i z Jerozolimy przeniesiony do siedmiu niebios, wreszcie znalazł się w odległości dwóch strzałów z łuku od Boga. Początkujący na ścieżce sufizmu również dąży do tego, aby wyjść poza ograniczenia przestrzeni i czasu i zbliżyć się do Boga.
Te i inne przykłady wskazują na silne mistyczne elementy w życiu proroka Muhammada (s.a.w.s.) i wczesnego społeczeństwa muzułmanów.
Pojawienie się pierwszych grup, które można określić mianem sufickich, przypada na VII i VIII wiek. Miedzy A.D. 622 a 632 Święty Prorok (s.a.w.s.) ustanowił w Medynie społeczeństwo, które odzwierciedlało islamskie zasady sprawiedliwości, praworządności, zgodności, pobożności i wrażliwego przywództwa. Po jego śmierci pierwsi czterej kalifowie (r.a.) naśladowali jego przewodnictwo, zarządzając szybko rozszerzającym się terytorium zgodnie z naukami Koranu i sunny (przykładu i przewodnictwa Proroka (s.a.w.s.)).
W ciągu stu lat od hidżry przywództwo społeczności muzułmańskiej wymknęło się z rąk jego najbardziej oddanych członków. Rożne podgrupy dostrzegły, iż zamiast utrzymać din (podstawowe zasady wiary), władcy pochłonięci byli sprawami doczesnymi i egoistycznymi dążeniami. Wielu znanych i szanowanych muzułmanów zerwało stosunki z rządzącymi. W drugim wieku po hidżrze niektórych z tych, którzy odrzucili świecki rząd, zaczęto określać mianem sufich. Perski szajch Abu Haszim Kufi (r.a.) (zm. 776 AD) był pierwszym, który był tak nazywany. Mniej więcej pomiędzy A.D. 660 a 850 pojawiły się najwcześniejsze kręgi sufickie.
Druga faza rozwoju sufizmu zbiega się z ważnym dla islamu okresem w historii, który trwał od 850 roku aż do X wieku. Wśród muzułmanów rozpowszechniła się grecka filozofia i nauka, a społeczeństwo islamskie stanęło w obliczu dominującego racjonalizmu. Wiara przeciętnego człowieka została zachwiana. Człowiek zaczął być nękany rożnymi wątpliwościami. Rozum i świeckość zagroziły wierze. Muzułmanie byli zaniepokojeni, zagubieni i zniechęceni. Wreszcie mistrzowie sufi podnieśli głos w proteście przeciwko greckiej filozofii. Aby przeciwdziałać jej wpływom, sufi kładli nacisk na doktrynę iszk (intensywnej miłości) i doświadczenia osiągane przez duchowe stany serca.
Trzeci etap w rozwoju sufizmu przypada na X wiek naszej ery. Wykorzystując dar mówienia i intelektu w pisaniu, mędrcy tej epoki starali się ponownie rozbudzić ducha religijnego, który mógłby bardziej przeniknąć do codziennego życia ludzi. Uznali, iż ludzkie zachowanie nie może się zmienić, tak długo jak serce pochłonięte jest sprawami tego świata. Podkreślali wagę oczyszczenia ego (nafs) i wspierali ludzi w wysiłku przezwyciężenia świeckich i racjonalistycznych uwarunkowań. Pomagali ludziom ożywić ich wewnętrzne życie, przekazując im podstawy etycznego i moralnego życia.
Pomiędzy X a XII wiekiem sufizm stał się wielce szanowaną dyscypliną. Wielu uczonych i duchowych mistrzów nauczało w tym okresie, ustanawiając sufickie praktyki i terminologię. Powstało również szereg tarik (bractw).
Pod koniec XIII wieku sufizm był już dobrze zdefiniowaną nauką duchowego przebudzenia. Dzięki eksperymentom i badaniom szajchowie rozwinęli możliwy do przekazania system technik samodoskonalenia, których skuteczność była potwierdzona przez wielu uczniów. Bractwa sufickie stały się podstawą szeroko rozpowszechnionego mistycznego ruchu, tchnąc nowe życie w odwieczne duchowe poszukiwania ludzkości.