एक बार रावण ने हिमालय पर जाकर भगवान शिव की घोर तपस्या की। उसने अपना एक-एक सिर काट कर शिवलिंग पर चढ़ाना शुरू कर दिया। उसने अपने नौ सिर चढ़ा दिए। जैसे ही वह अपना दसवां सिर काटने जा रहा था, भगवान शंकर प्रसन्न होकर प्रकट हो गए।
उन्होंने रावण के दसों सिरों को पहले जैसा ही कर दिया और रावण से वरदान मांगने को कहा। रावण ने वर मांगा- ‘मुझे शिवलिंग को लंका ले जाने की अनुमति दीजिए।’ शिवजी ने रावण को इस शर्त के साथ लिंग ले जाने का वर दिया कि अगर वह लिंग को ले जाते समय जमीन पर रख देगा तो लिंग वहीं स्थापित हो जाएगा।
रावण शिवलिंग लेकर चल दिया। सभी देवताओं को चिंता हो गई कि अगर रावण ने लंका में शिवलिंग स्थापित कर दिया तो वह अजेय हो जाएगा। सब देवता सृष्टि के पालनकर्ता भगवान विष्णु के पास पहुंच गए। भगवान विष्णु ने तीन पवित्र नदियों- गंगा, यमुना और सरस्वती से कहा कि वे रावण के पेट में प्रवेश कर जाएं। तीनों नदियों के पेट में प्रवेश करते ही रावण को बड़ी तेज लघुशंका लगी। मगर शर्त थी कि शिवलिंग को जमीन पर रखना नहीं है और शिवलिंग को लेकर लघुशंका की नहीं जा सकती थी।
तभी वहां भगवान विष्णु स्वयं ग्वाले का रूप धर कर उपस्थित हो गए। रावण ने ग्वाले से कहा कि वह थोड़ी देर के लिए शिवलिंग पकड़ ले, उसे लघुशंका के लिए जाना है। ग्वाले ने कहा- ‘जल्दी आना, वरना मैं शिवलिंग भूमि पर रख दूंगा।’ रावण बोला- ‘ठीक है।’ उधर तीनों नदियों के पेट में प्रवेश कर जाने से रावण की लघुशंका समाप्त ही नहीं हो रही थी। इधर बहुत ज्यादा देर होते देख ग्वाले ने शिवलिंग को भूमि पर रख दिया। वह लिंग वहीं स्थिर हो गया। वापस आकर रावण ने अपनी सारी शक्ति लगा कर उसे उठाना चाहा, लेकिन उठा नहीं सका। गुस्से में उसने शिवलिंग पर मुक्के से प्रहार किया, जिससे वह जमीन में धंस गया। बस उसका अंगूठे जितना भाग ही ऊपर रहा। अंत में रावण निराश होकर खाली हाथ लंका चला गया।
कहते हैं कि जिस जगह लिंग स्थापित हुआ था, वहीं वर्तमान मंदिर है और शिवलिंग आज भी अंगूठे के आकार का ही है। यह भी मान्यता है कि रावण की लघुशंका से एक सरोवर का निर्माण हो गया था, जिसे शिवगंगा कहते हैं। देवघर पहुंचने के बाद कांवड़िये पहले शिवगंगा में स्नान करते हैं, फिर शिवलिंग पर जल चढ़ाते हैं।