W drugiej połowie XIII wieku był tu zamek położony na wzgórzu nad rzeką Bóbr, po przeciwległej stronie miasta. Zamek ten odegrał ważną rolę w obronie księstwa świdnickiego przed agresją czeską. Nie zachowały się żadne ślady murów zamkowych, jedynie ukształtowanie powierzchni wskazuje na istnienie tu umocnień.
Jedna z opowieści o zamku opisuje w jaki sposób świdnicki książę Bolko II odzyskał Kamienną Górę, którą stracił w wyniku walk z królem czeskim Janem Luksemburskim. Posłużył się fortelem godnym wielkiego wodza. Nie chcąc tracić swych wojsk na długie oblężenie postanowił nieco uspokoić sytuację i na jakiś czas odstąpił od podchodzenia pod mury i tym samym uśpił czujność czeskich obrońców.
Pewnego jednak razu nakazał kilkunastu swym ludziom ukryć się w wozach kupieckich, które jeździły traktem nieopodal zamku, a sam ukrył się ze znaczniejszymi siłami w pobliskim lesie. Chciwi rycerze z czeskiej załogi, widząc łatwe łupy zbliżające się do murów warowni, postanowili szybkim wypadem zagarnąć dla siebie polski transport wieziony na targ do miasta. Co postanowili to też uczynili.
Kupcy widząc rabusiów czmychnęli by nie stracić życia razem z majątkiem, a pewni swego Czesi zabrali wozy ze sobą do zamku. Jakież było ich zdziwienie gdy spośród skrzyń wyskoczyli uzbrojeni wojacy, którzy sprawnie i szybko przeprowadzili swą akcję. Część zaatakowała oniemiałych obrońców, a część otworzyła bramy, czekającym już w pobliżu posiłkom z księciem Bolkiem na czele. Zamek odbito, a książę potwierdził swą niezawisłą władzę w dzielnicy.