大悟庵境内にある神社で、織物の神を祀る。古代の神社のリスト『延喜式神名帳』(927年編さん)に記載がある古い神社である。倭文神社は、古代に織物を生産する集団「倭文部」が祀ったものが元になっていると考えられている。