富士の巻狩のおり、源頼朝は滝の近くに一夜の陣を敷いた。その夜、滝の下でドンドンと太鼓を打つような音がしたので滝壷を探させてみると、中が空洞になった太鼓の胴のような石が出てきた。そこで、太鼓石と名づけられたという。