साईं बाबा और मोहिद्दीन की कुश्ती के कुछ वर्षों के बाद जौहर अली नाम का एक मुस्लिम फकीर रहाता में अपने शिष्यों के साथ रहने आया| वह हनुमान मंदिर के पास एक मकान में डेरा जमाकर रहने लगा| वह अहमदनगर का रहने वाला था| जौहर अली बड़ा विद्वान था| कुरान शरीफ की आयातें उसे मुंहजुबानी याद थीं| मीठी बोली उसकी अन्य विशेषता थी| धीरे-धीरे रहाता के श्रद्धालु जन उससे प्रभावित होकर उसके पास आने लगे| उसके पास आने वाला व्यक्ति उसका बड़ा सम्मान करता था| पूरे रहाता में उसकी वाहवाही होने लगी थी| धीरे-धीरे उसने रहाता के लोगों का विश्वास प्राप्त कर बहुत सारी आर्थिक मदद भी हासिल कर ली थी|

इसके बाद उसने हनुमान मंदिर के पास में ही ईदगाह बनाने का निर्णय लिया| लेकिन इस विषय को लेकर वहां के लोगों के साथ उसका विवाद हो गया| विवाद बढ़ जाने पर उसे रहाता छोड़कर शिरडी में शरण लेनी पड़ी| शिरडी में वह साईं बाबा के साथ मस्जिद में रहने लगा| वहां पर भी उसने अपनी मीठी बोली के बल पर लोगों का दिल जीत लिया|

साईं बाबा उसे पूरी तरह से पहचानते थे, मगर उसे टोकते न थे| साईं बाबा के कुछ न कहने पर बाद में उस फकीर की इतनी हिम्मत बढ़ गयी कि वह लोगों को यह बताने लगा कि साईं बाबा उसके शिष्य हैं| एक दिन उसने साईं बाबा से कहा - "तू मेरा चेला बन जा|" साईं बाबा ने कोई ऐतराज नहीं किया और उसी पल 'हां' कर दी| वह फकीर उन्हें लेकर रहाता चला गया| गुरु (जौहर अली) अपने शिष्य ( साईं बाबा) की योग्यता को नहीं जानता था| लेकिन शिष्य (साईं बाबा) गुरु (जौहर अली) के अवगुणों को भली-भाँति जानते थे| इतना सब कुछ जानते हुए भी साईं बाबा ने कभी भी जौहर अली का अपमान नहीं किया और पूरी निष्ठा भाव से अपने गुरु के प्रति कर्त्तव्य का निर्वाह करते हुए, गुरु की तरह सेवा की| उसकी प्रत्येक बात सर-आँखों पर रखी और तो और साईं बाबा ने उसके यहां पानी तक भी भरा|

लेकिन जब कभी साईं बाबा की इच्छा होती तो वह अपने गुरु जौहर अली के साथ शिरडी में भी आया करते थे| पर उनका रहना-सहना रहाता में ही था| लेकिन बाबा के भक्तों को उनका रहाता में रहना अच्छा नहीं लगता था| उन्हें अपने साईं बाबा वापस चाहिये थे| इसलिये सारे भक्त मिलकर बाबा को रहाता से वापस शिरडी लाने के लिए गए| वहां पर भक्तों की साईं बाबा से ईदगाह के पास मुलाकात हुई| बाबा के भक्तों ने उन्हें अपने रहाता आने का कारण बताया तो बाबा ने उन्हें फकीर के गुस्से के बारे में समझाते हुए वापस भेजना चाहा, परंतु उन लोगों ने वापस जाने से इंकार कर दिया| उनके बीच अभी बातचीत चल ही रही थी कि तभी वह फकीर वहां आ पहुंचा और जब उसे यह पता चला कि वह लोग उसके शिष्य (साईं बाबा) को लेने आये हैं तो वह गुस्से में लाल-पीला हो गया|

वह फकीर बोला - "तुम इस बच्चे को ले जाना चाहते हो, यह नहीं जायेगा|" फिर दोनों पक्षों में काफी वाद-विवाद होने लगा| अंत में लोगों की जिद्द के आगे फकीर सोच में पड़ गया और अंत में यह निर्णय हुआ कि गुरु-शिष्य दोनों ही शिरडी में रहें| आखिर दोनों शिरडी वापस आकर रहने लगे|

इस तरह उन्हें बहुत दिन शिरडी में रहते हुए बीत गए| तब एक दिन शिरडी के एक महात्मा देवीदास और जौहर अली दोनों में धर्म-चर्चा होने लगी, तो उसमें अनेक दोष पाए गये| महात्मा देवीदास साईं बाबा के चाँद पाटिल के साले के लड़के की बारात में शिरडी आने से 12 वर्ष पूर्व शिरडी आये थे| उस समय उनकी उम्र लगभग 10-12 वर्ष की रही होगी और वह हनुमान मंदिर में रहते थे| वे सुंदर और बुद्धिमान थे| यानी वे ज्ञान और त्याग की साक्षात् मूर्ति थे| तात्या, पाटिल, काशीनाथ तथा अन्य कई लोग उन्हें गुरु की तरह मानते और उनका सम्मान करते थे| तब हारने के डर से जौहर अली रात में ही भागकर बैजापुर गांव में चला गया| फिर कई वर्षों के बाद एक दिन वह शिरडी आया और साईं बाबा के चरणों में गिरकर रोकर माफी मांगने लगा| उसने साईं बाबा की महत्ता को दिल से स्वीकार कर लिया| उसका भ्रम मिट चुका था कि वह स्वयं गुरु है और साईं बाबा उसके शिष्य|

उसकी सच्ची भावना जानकर साईं बाबा ने उसे समझाया और फिर आध्यात्मिक उन्नति का मार्ग बताया|