Zamek został wzniesiony w miejscu warowni istniejącej od X wieku. Pierwotnie połączony był z murami obronnymi miasta zachowanymi do dzisiaj w szczątkowej formie. Obiekt murowany wznoszono z fundacji królewskiej od wieku XIV, w 1525 roku przebudowano według projektu mistrza Benedykta zwanego Sandomierzaninem (związanego m.in. z przebudową Wawelu w XVI wieku). Pierwotnie zamek składał się z 4 skrzydeł obejmujących kolumnowy dziedziniec. Podczas najazdu w 1656 roku Szwedzi wysadzili zamek. Pozostało jedynie jego zachodnie skrzydło z basztami w którym od 1795 roku mieściło się więzienie. Obiekt odbudowano w latach
1960- 1986. Obecnie mieści się w nim Muzeum Okręgowe z ekspozycjami etnograficzną, archeologiczną, historyczną.