பாண்டிய நாட்டில், சோழாந்தகன் என்னும் மன்னன் சிறந்த சிவ பக்தனாக இருந்து வந்தான். தினமும் சிவ வழிபாடும், பூஜையும் செய்யாமல் ஆகாரம் உண்ண மாட்டான். ஒரு நாள் தனது பரிவாரங்களுடன் காட்டிற்கு வேட்டையாடச் சென்றான். அங்கு ஒரு அழகான மானைக் கண்டதும் அதை துரத்திக் கொண்டு போனான். அந்த மான் மன்னனின் கண்களுக்குச் சிக்காமல் போக்கு காண்பித்தது. மிகுந்த களைப்பால் சோர்வானான் மன்னன். அவனுடைய களைப்பை நீக்குவதற்காக மந்திரி, மன்னனுக்கு சிறிது அன்னமும்,  நீரும் கொடுத்தும் அதை, ‘சிவ பூஜை செய்யாமல் உண்ண மாட்டேன்’ என்று பிடிவாதமாக இருந்தான் மன்னன்.

மந்திரி சமயோசிதமாக ஒரு மரத்துண்டை எடுத்து அந்தக் காட்டில் ஒரு இடத்தில் நட்டு வைத்து,  'மன்னா சிவலிங்கம் சுயம்பு ரூபமாக இங்கேயே இருக்கிறது. வாருங்கள், நீங்கள் பூஜித்துவிட்டு ஆகாரம் உண்ணலாமே' என்றான்.

மயக்க நிலையில் இருந்த மன்னன் அந்த மரத்துண்டை சிவன் என்று நினைத்து,  அதை பூஜித்து ஆகாரம் எடுத்துக் கொண்ட பின் சகஜ நிலைக்குத் திரும்பினான். அப்பொழுதுதான் அவனுக்குப் புரிந்தது தான் பூஜித்தது சிவலிங்கம் இல்லை, ஒரு மரத்துண்டு என்பது.

மிகவும் மனம் வருந்திய மன்னன் சிவனிடம்  மன்னிப்பை கேட்டுக் கொண்டு, 'நான் இத்தனை காலமாக உன்னை உண்மையாக வழிபட்டு வருகிறேன் என்று நீ திருப்தி அடைந்தாய் என்றால்,  இந்த மரத்துண்டில் எழுந்தருளி அருள்பாலிக்க வேண்டும்' என்றான். பக்தனுக்காக சிவபெருமான் அந்த மரத்துண்டில் காட்சி கொடுத்தார் சிவபெருமான். இதனால் அந்த மரத்துண்டு சிவபெருமான்  திருவாப்புடையார் என்று பெயர் பெற்றார். அந்தத் தலமும் திருவாப்பனூர் என்றாயிற்று. மதுரை மீனாட்சி அம்மன் கோயிலுக்கு வடக்கே திருவாப்பனூரில், சுகந்த குந்தளாம்பிகை சமேத திருவாப்புடையார் அருள்பாலித்து வருகிறார்.

இந்தக் கோயில் பற்றிய மற்றொரு சிறப்பு வரலாறும் உண்டு. புண்ணியசேனன் என்னும் மகா சிவபக்தன் ஒருவன், தனக்குப் பொன்னும் பொருளும் வேண்டி, அகத்திய முனிவரின் வழிகாட்டுதலின்படி திருவாப்புடையாரை துதித்து வந்தான். சிவனின் கருணையால் அவனுடைய எண்ணம் ஈடேறியவுடன், 'தான்' என்கிற அகம்பாவம் தலைக்கேறி, அம்பாளின் அழகில் மயங்கினான்.

அவனுடைய மனோபாவத்தை அறிந்த அம்பாள், அவனது கண் பார்வையைப் பறித்து, உயிரையும் பறித்தபொழுது, தான் செய்த தவறுக்காக இருவரிடமும் மன்றாடி மன்னிப்புக் கேட்டான். பக்தனுக்காக மனமிரங்கிய திருவாப்புடையர்,  புண்ணியசேனனுக்கு மறுபிறப்பு அளித்து, 'பிற்காலத்தில் நீ சங்கநிதி, பதும நிதி என்கிற இரு செல்வங்களோடு, வட திசையை காவல் காத்து வரும் குபேரன் என்று போற்றப்படுவாய் ' என்று அருளாசியும் வழங்கினார்.

இத்தல சுயம்பு லிங்கமாக அருள்பாலிக்கும் ஈசனை வணங்கினால், தரித்திரம் விலகி, சகல சம்பத்துகளும் கைகூடும் என்று பக்தர்களால் நம்பப்படுகிறது.