इस भव्य मंदिर को सन् 1017-18 ई. में महमूद गजनवी ने तोड़ दिया था। बाद में इसे महाराजा विजयपाल देव के शासन में सन् 1150 ई. में जज्ज नामक किसी व्यक्ति ने बनवाया। यह मंदिर पहले की अपेक्षा और भी विशाल था, जिसे 16वीं शताब्दी के आरंभ में सिकंदर लोदी ने नष्ट करवा डाला।
ओरछा के शासक राजा वीरसिंह जू देव बुन्देला ने पुन: इस खंडहर पड़े स्थान पर एक भव्य और पहले की अपेक्षा विशाल मंदिर बनवाया। इसके संबंध में कहा जाता है कि यह इतना ऊंचा और विशाल था कि यह आगरा से दिखाई देता था। लेकिन इसे भी मुस्लिम शासकों ने सन् 1669 ईस्वी में नष्ट कर इसकी भवन सामग्री से जन्मभूमि के आधे हिस्से पर एक भव्य ईदगाह बनवा दी गई, जो कि आज भी विद्यमान है।
इस ईदगाह के पीछे ही महामना पंडित मदनमोहन मालवीयजी की प्रेरणा से पुन: एक मंदिर स्थापित किया गया है, लेकिन अब यह विवादित क्षेत्र बन चुका है क्योंकि जन्मभूमि के आधे हिस्से पर ईदगाह है और आधे पर मंदिर।
