源平の戦いに敗れた平家の残族が逃げ込んだという「平家の落人伝説」が、この地に残っています。
平知盛(清盛の子)の家臣らが逃げ込んだと言われており、この塚は彼をしのんで建てたと伝えられています。