В период своего возникновения суфизм был встречен исламом неприязненно. Его деятели и приверженцы рассматривались как кафиры, еретики и подвергались соответствующему обращению. Хотя идеологи движения выражали свою преданность имаму Али, шииты их не признавали своими. В дальнейшем, однако, наметились пути сближения между суфизмом и официальным исламом.
Суфизм не был однородным: он заключал в себе, с одной стороны, радикальное крыло, доходившее до крайности в аллегорическом толковании Корана, в пантеистической трактовке бога, в требованиях бедности и аскетической жизни, и, с другой — умеренное крыло, готовое к компромиссам по перечисленным вопросам. Памятником борьбы между этими двумя флангами суфизма явилось «Послание» одного из главных идеологов движения аль-Кушейри, относящееся к 1045 г. Оно содержит гневное обличение и опровержение той тенденции в суфизме, которая ведет к разрыву с «законом». С сокрушением констатирует благочестивый автор: «Уважение к закону религии покинуло сердца... они (обличаемые аль-Кушейри экстремисты суфизма.— И. К.) отказываются от различия между дозволенным и запрещенным... мало ценят исполнение религиозных обязанностей, поста, молитвы, они шествуют по ристалищу пренебрежения... Не довольствуясь этим, они ссылаются на высочайшие истины и состояния и утверждают, что достигли свободы от уз и оков (закона) истинами соединения (с богом)». И. Гольдциер считает, что «Послание» аль-Кушейри, имевшее большое влияние на все суфийское движение, способствовало «восстановлению почти рухнувшего моста между ортодоксией и суфизмом».
Этот мост наводился с обеих сторон. Некоторые явления в мусульманской теологии способствовали тому, что идеология суфизма стала рассматриваться ортодоксальным исламом уже не столь враждебно, как раньше. Мусульманская теология, запутавшись в казуистических ухищрениях калама и убоявшись пахнущих ересью построений мутазилитов, стала искать выход на путях мистицизма, дававшего возможность объяснять любой казус неизреченной таинственностью божественного откровения и пресекать тем путь дальнейшим умствованиям. Важным шагом в этом направлении было богословствование ало-Газали (1058 или 1059-1111).
Достигнув положения одного из наиболее авторитетных представителей официальной мусульманской теологии, аль-Газали решительно изменил свой образ жизни и удалился из Багдада, чтобы в уединении работать над новой системой теологии. Он обосновал ее на родственном суфизму принципе единения души верующего с богом; в центр религии ислама он поставил внутреннее переживание верующего. Деятельность аль-Газали и на этой стадии была признана официальным исламом ортодоксальной, а сам он удостоился статуса святого. Суфизм же с данного времени был в известной мере легализован, а его ордена и учреждения превратились в институты господствующей религии.
Оппозиционные в отношении существующего порядка тенденции и группировки нашли свое выражение в ряде других движений, положивших начало возникновению различных сект в исламе.