Le château date du XIIIe s. Assez régulièrement, les comtes de Neuchâtel s'y rendaient jusqu'au XVe siècle. C'est alors que certains locaux furent aménagés en prisons. En 1752, le château en ruine est cédé par le souverain Frédéric-Guillaume II à la ville qui reconstruit les murailles et loue l'appartement et les caves. Il est actuellement propriété de l'Etat.