गुफा मंदिर की खोज साल 1949 में महंत नारायण दासजी त्यागी द्वारा की गई थी। उस समय यहां आसपास घना जंगल व सिर्फ 2 गांव थे। बताया जाता है कि गुफा की खोज करने के बाद महंत गुफा में ही आध्यात्मिक तपस्या में लीन हो गए। आसपास के लोगों को जब इसका पता चला तो वे सभी महंत से मिलने गए। गुफा के अंदर स्वयंभू देख गांव वालों ने यहां एक मंदिर निर्माण की इच्छा जताई। जिसके बाद महंत नारायण दासजी त्यागी ने मंदिर की नींव रखी। 2 अप्रैल 1965 को महंत द्वारा इसका पुनर्निर्माण भी कराया गया। मंदिर में पहाड़ के नीचे प्राकृतिक रूप से गुफा निर्मित गृर्भ गृह में भगवान भोलेनाथ स्वयंभू पिंडी रूप में विराजमान हैं।

कहा जाता है कि गुफा में विराजित शिवलिंग स्वयंभू यानी अपने आप प्रकट हुए थे । गुफा में विराजित ​शिवलिंग पर प्राकृतिक रूप से पानी की बूंदे लगातार गिरती रहती है। माना जाता है कि गुफा मंदिर में सावन माह में ​स्वयंभू शिवलिंग पर जल चढ़ाने से भक्तों के हर कष्ट दूर हो जाते हैं।

बाहर से देखने में गुफा मंदिर दक्षिण भारत के किसी मंदिर जैसा प्रतीत होता है। एक मीनार की तरह 3 खंड ऊंचे शिखर शैली में दिखाई देता है, जोकि अलग-अलग रंगों से की गई सुंदर कलाकृतियों के कारण काफी आकर्षक लगता है। हालांकि, अंदर से मंदिर सिर्फ एक ही खंड यानी प्रथम खंड में निर्मित है। गर्भगृह से गुफा के अलावा यहां एक प्राचीन गुफा है, जहां शिवलिंग विराजित है। यह गुफा सालभर जल से भरी रहती है। गुफा के बाहर लक्ष्मीनारायण जी की सुंदर प्रतिमा है, जहां भगवान विष्णु अपने बैकुण्ड निवास में माता लक्ष्मी के साथ विराजमान हैं। - मुख्य गुफा में प्रवेश से पहले बाईं ओर भगवान सीताराम का एक सुंदर मंदिर है, जिसमें पूरा राम दरबार सुशोभित है। परिसर में हनुमान जी की एक प्रतिमा है, जिसमें आदीवासी मूर्तिकला की झलक देखने को मिलती है। - मंदिर की दीवारों पर श्रीराधाकृष्ण, हनुमान जी व गणेश जी की सुंदर छवियां चित्रित की गई हैं। परिसर में भगवान परशुराम जी की भी विशाल प्रतिमा विराजमान है।

शिवलिंग पर परंपरा अनुसार शुद्ध जल, दूध, दही, शहद, घी व बेलपत्र का अर्पण किया जाता है।