元禄10年(西暦1697)、津山藩森家の改易に伴って、その分家である森長俊が現在の佐用町三日月の地に移住。佐用町だけでなく宍粟・揖保郡の一部を含む1万5千石の藩主となりました。以後明治までの174年間、乃井野地区を城下に、政治・文化の中心地として栄えました。

整備された物見櫓は、三日月藩の乃井野陣屋で唯一現存する江戸時代の建築遺構で、現存する陣屋の物見櫓としては、全国的にも希少で大変貴重な建築遺構であると評価されています。