പണ്ട് ശോകനാശിനി ഒഴുകിയിരുന്നത് ഇന്ന് ക്ഷേത്രം നിൽക്കുന്ന നെൽപ്പാടങ്ങളുടെ ഇടതുവശത്തുകൂടിയാണ്. പിന്നീട് ദേവിയുടെ ഇടപെടൽ മൂലം അത് വലതുഭാഗത്തായി. അങ്ങനെയാണ് ക്ഷേത്രം നിൽക്കുന്ന സ്ഥലത്തിന് 'തിരുവലത്താറ്' എന്നത് ലോപിച്ചു തിരുവാലത്തൂർ എന്ന സ്ഥലനാമമായി എന്ന് പറയപ്പെടുന്നു.

ഐതിഹ്യമനുസരിച്ച് ക്ഷേത്രത്തിലെ ആദ്യത്തെ പ്രതിഷ്ഠ, വടക്കുഭാഗത്തെ ശ്രീകോവിലിൽ കുടികൊള്ളുന്ന മഹിഷാസുരമർദ്ദിനിയാണ്. അത്യുഗ്രദേവതയായ മഹിഷാസുരമർദ്ദിനിയുടെ വിഗ്രഹത്തിന് ഏകദേശം ആറടി ഉയരമുണ്ട്. പടിഞ്ഞാറോട്ടാണ് ദർശനം. എട്ടുകൈകളോടുകൂടിയ വിഗ്രഹത്തിന്റെ കൈകളിൽ ശംഖ്, ചക്രം, ഗദ, അമ്പ്, വില്ല്, വാൾ, ത്രിശൂലം തുടങ്ങിയ ആയുധങ്ങൾ കാണാം. മഹിഷത്തിന്റെ രണ്ടു കാതിലും ചവിട്ടി വലതുകൈയിലെ ശൂലം മഹിഷത്തിന്റെ കാതിൽ കുത്തിയും ഇടതു കൈയിലുള്ള അമ്പും വില്ലും മഹിഷത്തിന്റെ കൊമ്പിലും കുത്തിയാണ് ഇവിടത്തെ ദാരുവിഗ്രഹ പ്രതിഷ്ഠ (വരിക്കപ്ലാവ്). ദാരുവിഗ്രഹത്തിന്റെ വലതുവശത്തായി മഹിഷാസുരമർദ്ദിനിയുടെ അർച്ചനാബിംബം സ്ഥിതിചെയ്യുന്നു. ഈ അർച്ചനാബിംബത്തിലാണ് അർച്ചനാദി പൂജ അലങ്കാരങ്ങൾ ചെയ്തു വരുന്നത്.

ക്ഷേത്രത്തിലെ സ്വയംഭുവായ അന്നപൂർണ്ണേശ്വരീപ്രതിഷ്ഠയും സവിശേഷമായ ഒരു ഐതിഹ്യത്തിനുടമയാണ്. മഹിഷാസുരമർദ്ദിനിയുടെ പ്രതിഷ്ഠയ്ക്കുശേഷമാണ് ഇത്തരമൊരു പ്രതിഷ്ഠയുണ്ടായതെന്ന് വിശ്വസിയ്ക്കപ്പെടുന്നു. ആ കഥ ഇങ്ങനെ:
മഹിഷാസുരമർദ്ദിനിയുടെ ഉഗ്രഭാവത്തോടെയുള്ള പ്രതിഷ്ഠ, നാട്ടിൽ പലതരം ബുദ്ധിമുട്ടുകളുണ്ടാക്കി. അതിവർഷം, വെള്ളപ്പൊക്കം, കൃഷിനാശം തുടങ്ങിയവ അവയിൽ പ്രധാനമാണ്. ഇത്തരം സംഭവങ്ങൾ അടുപ്പിച്ചടുപ്പിച്ചുണ്ടാകുന്നതിൽ ദുഃഖിതരായ നാട്ടുകാർ, ദേവിയോടുതന്നെ പ്രാർത്ഥിച്ചു. ഭക്തരുടെ വേദനയിൽ മനസ്സലിഞ്ഞ ദേവി, മഹിഷാസുരമർദ്ദിനിയുടെ ശ്രീകോവിലിന് തെക്കുഭാഗത്ത് താഴ്ചയിൽ സ്വയംഭൂവായി അവതരിയ്ക്കുകയായിരുന്നു. തുടർന്ന് നാട്ടുകാർ അവിടെ പുതിയ ശ്രീകോവിൽ പണിയുകയും അന്നപൂർണ്ണേശ്വരിസങ്കല്പത്തിൽ ദേവിയെ ആരാധിയ്ക്കാൻ തുടങ്ങുകയും ചെയ്തു. ഇതിനുശേഷം യാതൊരുവിധ പ്രശ്നങ്ങളുമുണ്ടായില്ലെന്ന് മാത്രവുമല്ല, കൂടുതൽ സമ്പദ്സമൃദ്ധിയോടെ ഗ്രാമം വിളങ്ങാൻ തുടങ്ങുകയും ചെയ്തു എന്നും ഐതിഹ്യമുള്ളതാണ്.

ഈ ക്ഷേത്രത്തിലെ ഏറ്റവും വലിയ പ്രത്യേകതയാണ് ഇവിടത്തെ അതിവിശാലമായ മതിൽക്കെട്ട്. ഇത് മനുഷ്യനിർമ്മിതമല്ലെന്നാണ് ഐതിഹ്യം. ഇതിന്റെ നിർമ്മാണത്തിന് പുറകിൽ പറഞ്ഞുവരുന്ന ഒരു കഥയുണ്ട്. ഈ മതിൽക്കെട്ട് നിർമ്മിച്ചത് ഭൂതഗണങ്ങളാണെന്നും ഒറ്റരാത്രി കൊണ്ടാണ് അവർ ഇത് നിർമ്മിച്ചതെന്നും, എന്നാൽ പണിതീരും മുമ്പ് കോഴി കൂവിയതിനാൽ അവർ പണിയുപേക്ഷിച്ച് സ്ഥലം വിട്ടെന്നുമാണ് കഥ. ഇതിന്റെ തെളിവായി കിഴക്കേ ഗോപുരവും കിഴക്കുഭാഗത്തെ മതിൽക്കെട്ടും പണി പൂർത്തിയാക്കിയിട്ടില്ലെന്ന കാര്യം മനസ്സിലാക്കാം. ഈ ക്ഷേത്ര മതിൽ പണിയാനുള്ള കരിങ്കല്ലുകൾ പാറ എന്ന സ്ഥലത്തു നിന്നും കൊണ്ടുവന്നു എന്ന് പറയപ്പെടുന്ന കൈവഴി ഇന്ന് വണ്ടിത്തോടായി മാറി എന്നും പറയപ്പെടുന്നു.

ഏറ്റവും മികച്ച മരപ്പണിയും ശിലാ ശിൽപങ്ങളും ക്ഷേത്രത്തിലുണ്ട്. ചുറ്റിലുമുള്ള കൂറ്റൻ കരിങ്കൽ ഭിത്തികളും പ്രവേശന വഴികളും കൗതുകമുണർത്തുന്നവയാണ്. 2-5 ടൺ ഭാരമുള്ള കരിങ്കൽ കഷണങ്ങൾ എങ്ങനെയാണ് ഇത്രയും ഉയരങ്ങളിലേക്ക് അവർക്ക് നീക്കാൻ കഴിഞ്ഞത് എന്നത് നമ്മളിൽ ആശ്ചര്യം ഉളവാക്കും. പാലക്കാട്ടിലെ ഏറ്റവും ആകർഷകമായ കരിങ്കൽ ഭിത്തികളിൽ ഒന്നാണിത്.