昭和17年（1942）上井出地区に陸軍少年戦車兵学校が開校し、人穴地区はその演習地となり、住民は強制移住させられた。人穴地区住人の多くは芝山に移住し、人穴浅間神社も遷された。境内には富士講信者の名前がある石灯籠も移されている。