Pierwsza wzmianka o zamku pochodzi z 1405 r. kiedy naczelnikiem wojennym (burgrabią) zamku mirówskiego był Sasin. W 2 połowie XIV. XV i XVI w. zamek był stale rozbudowywany
Od 1489 r. stał się własnością rodziny Myszkowskich, którzy w 2 połowie XV w. lub na początku XVI w. do skały zamkowej od strony wschodniej dostawili prostokątną wieżę mieszkalną z kamienia o pięciu kondygnacjach przykrytych drewnianymi stropami i podwyższyli budynek zamku o dwa piętra. Do wieży dobudowano ścianę kurtynową, dzięki której uzyskano mały wewnętrzny dziedziniec obudowany niegdyś dodatkowymi pomieszczeniami. Istniejący układ komunikacyjny (fragmenty ganków straży), łącznie z resztką budynku bramnego jest wynikiem zmian budowlanych z końca XV lub początku XVI w. Od 1600 r. Myszkowscy tytułowali się margrabiami na Mirowie. W niedługim czasie przenieśli się jednak do Pińczowa.
a w 1633 r dobra tutejsze sprzedali Janowi Korycińskiemu.