Před výstavbou samotného hradu na jeho místě stávalo hradiště založené na přelomu 10. a 11. století. Místo však bylo obydleno už od pravěku, kdy se zde nacházelo hradiště lidu lužické kultury. To mělo až pět metrů hluboké příkopy, které byly odkryty na Staroměstském náměstí. Královský hrad byl vystaven ve 13. století a zbytek hradiště zanikl. O cca sto let později na jeho místě vzniklo nové místo, které drželi až do roku 1468 páni z Michalovic, kdy jej získávají Tovačovští z Cimburka. Na počátku 16. století hrad prochází pozdně gotickou přestavbou a později pro změnu renesanční přestavbou.

Během třicetileté války hrad zdevastovala švédská vojska. V osmnáctém století byl přestavěn na kasárna. Ta zde fungovala až do roku 1940. Tenkrát zde vzniklo ono internační středisko židovského obyvatelstva z celého okolí. Muzeu slouží od roku 1972.