शिरडी में जिस तरह रामजन्म उत्सव मनाया जाता, वैसे ही कृष्ण जन्मोत्सव भी मनाया जाता था| पालना बांधकर कृष्ण जन्मदिन बड़ी धूमधाम से, हँसते गाते, नाचते-भजन-कीर्तन करते हुए मनाया जाता| आस-पास के गांवों से भी लोग इस उत्सव को देखने के लिए आते थे|
एक बार मुम्बई से काका महाजनी शिरडी आये| सप्ताह भर शिरडी में रहकर बाबा के सत्संग का लाभ उठाकर, फिर कृष्ण जन्मोत्सव में शामिल होकर उसके आनंद का लाभ लेनें के बाद मुम्बई लौटने का उनका विचार था, परन्तु बाबा तो अंतर्यामी थे| वे सबके मन की बात पहले ही जान लेते थे| इसलिये काका महाजनी जब बाबा के दर्शन करने आये तो दर्शन कर चुकने के बाद साईं बाबा ने उनसे पूछा - "काका, आपका वापस जाने का विचार कब का है ?" बाबा का सवाल सुनकर काका हैरानी में पड़ गये| उन्होंने तो आठ-दस दिन रहने का विचार बना रखा था| सवाल सुनकर काका उलझन में पड़ गये| फिर भी उन्होंने जवाब दिया - "बाबा, जब भी आपकी आज्ञा होगी|" बाबा ने कहा - "तुम कल ही चले जाओ|"
काका महाजनी ने बाबा की आज्ञा को सर-माथे पर मानकर दूसरे ही दिन मुम्बई के लिए प्रस्थान कर दिया| रास्ते भर भी वह यही सोचते रहे कि उनकी तो रहने की इच्छा थी पर बाबा ने उन्हें वापस क्यों भेज दिया ? मुम्बई पहुंचने के बाद जब वे अपने ऑफिस गये तो पता चला कि उनका सेठ उनसे मिलने के लिए बेचैन है और इसके लिए वह पत्र लिखकर शिरडी भी भेज चुका है| पूछने पर पता चला कि मुनीम की तबियत अचानक खराब हो गयी है इसलिए आपकी ऑफिस में उपस्थिति जरूरी थी| बाद में वह पत्र जो उनसे सेठ ने उनके लिए शिरडी भेजा था| उनके मुंबई वाले पते पर वापस भेज दिया गया| अब काका महारानी अच्छी तरह से समझ गये कि उन्हें बाबा ने क्यों वापस भेजा था|
