传说在飞鸟时代末期：元明天皇迁都至平城京（今奈良）之时，在迁都中看到了一座春夏秋冬四季同时存在的大山。看到这样的神奇的景象，许多人都认为那里是神域。只要能够到达那里就是神了。对于这样的言论元明天皇摇了摇头只说了一句话：“吾神之地，不可扰之。”奉上供品，简单参拜完成后。元明天皇下令退后三里扎营休息，明日绕道而行。
第二天，元明天皇醒来发现队伍竟然已经离平城京不足十里。对于这样的事情众人议论纷纷，都认为是昨天的所作所为感动了山上的神，所以使用神力让我们免去了长途跋涉之苦。
迁都至平城京后，元明天皇准备了许多供品，率领人马回到当时的地方，准备正式参拜。可是，回到地方后发现山也只是普通的山，并无神奇之处。
元明认为是神不想让人们看到所以特意掩盖，上次只是碰巧而已。仍然参拜后，在其地方修建了座神社并让大部分人留下守护。
然后元明回到平城京后，日本历史上著名的“奈良时代”从此拉开了序幕。盛世也开始显现，此时人们更认为是有神的保佑。
随着时间流逝，更朝换代。当初的神社如今也不存在，这座山到现在也就叫做山神山。不过对于帮助城市建设来说，这样的传说被当作卖点大肆宣传，在其山上建造了神社每年的人流量非常可观。
因为人太多每逢佳节或举行庙会、烟火大会的时候，在神社更是早早就有人开始了参拜，一般刚开始过不了多久就能看到排队的长龙。
城市也因山神山的名气叫做山神市。
