Le château brûla en 1476, après la bataille de Grandson. Il fut alors reconstruit en un quadrilatère irrégulier et soutenu par un contrefort oblique. Le dernier seigneur du lieu, Pierre de Vaumarcus, le vendit au comte Rollin de Neuchâtel qui fit des travaux d'extension.