這座神社位於海拔176公尺的小山胡四王山頂。

據說這座寺廟原本是8世紀末坂上田村麻呂所供奉的，主神是藥師如來，被稱為「醫王山胡四王寺」。 1818年，主神由藥師如來改為醫藥上的大己貴命少名彦命，成為現在的神社。

胡四王也是一座植被豐富的山，尤其是春天，前往神社的途中豬牙花盛開，讓參拜者賞心悅目。

每年1月2日舉行胡四王蘇民祭。

蘇民祭是主要在岩手縣舉行的祈求人民身體健康、五穀豐登的傳統活動。這是一項激烈的活動，纏著腰布的男子們爭奪一個袋子（Sominbukuro），裡面裝有一個名為 Oasuda 的護身符和一個寫有字母的名為“Komagi”的小護身符。

據說，「胡四王蘇民祭」始於1865年（慶應元年），因不明原因的不治之症的爆發而開始舉辦，目的是祈求瘟疫消滅，人民安心。