市内西部、
奥宮にあたる祠は山頂に置かれており、言葉神社境内から登山道が整備されているものの、勾配がきつく、年に幾度かの山の手入れ時以外に人の入りがないので鬱蒼としていて足場も悪い。
小さな神社なので、遠方からの参拝客はほとんどいない。
また、里宮境内までかなり石段を上るため、石段下に小さなお賽銭箱が置かれており、地域住民はここから簡易的にお参りすることが多い。
拝殿本殿の裏手にもご神木などがあるが、経路が分かりづらいので輪をかけて人がいない。
実は境内端に祖霊社が設けられており、氏子さんや宮司の家系の祖霊が祀られている。
一言主大神
酷い不作に見舞われた年の秋の暮れのこと。
古くから山とともに暮らしていた近隣の村の民が、山中にて倒れる一人の女を見つける。
哀れに思った村人たちが連れ帰り介抱すると、女はたちまち元気になったが、目を覚ますより以前の事は何も覚えていないということだった。
村人たちはゆく宛のない女を村の一員として迎え入れ、女は村人と共に働くようになった。
そうなってすぐにわかったのだが、女には実は口にした願いを一言にして叶える力があった。
女はその力を用いて村を豊かにし、不作を乗り越えた村人たちは女を山におわす神の遣いであるとして、山の神とともに丁寧に祀り上げ、お社を建てた。
これが、言葉神社の起こりである。（この時期にはまだ言葉神社という名前はなく、お社の形状も神社の建築様式を持たない独自のものだった）
それからしばらくの時を経たある夜、村に住む一人の男が外の足音に目を覚ました。
不思議に思い表を見ると、女がどこかへ歩いていくのが見え、夜更けにひとりでは危ないと後を追えば、女はお社の前で清幽な気配を纏い佇んでいた。
声をかけると女は振り返り、厳かな男の声でもって「私は一言主大神である。この地に住まう人々を救うため、この娘に力を与え、皆の願いを叶えていた。災いの去った今、娘は只人に戻るだろうが、私はいつもこの地を見守り、この地の民を助けよう」と語り倒れた。
以降、女の力はぱったりと絶え、普段と異なる声でもの語ることもなかったが、女を含む村人たちは神への畏怖と感謝をこめ、さる神社より一言主大神の勧請を受け正式に言葉神社を創建した。
言葉神社は、神社本庁に属さない単立神社である。
言葉神社の信仰は、ごく狭い範囲で信じられていた土着の信仰が巡り巡って神道の神と結びついたものであり、由緒の内容、特に後半は、語り継がれる中でかなり内容が変化しているという説もある。
よって、拝殿のつくりや大まかな作法、祭事の一部は神道と重なるものの、本質的に神道のお社なのかというと若干微妙なところがある。
また、宮司は由緒の伝説に登場する女の家系(言葉家)の長女が努める決まりとなっており、建立当初から女性宮司が認められていた非常に珍しい神社である。