W 1096 roku Brzetysław Czeski zbudował tu gród, który po zdobyciu przez Bolesława Krzywoustego został opuszczony. Gród ów był położony zapewne w pobliżu wzniesionego w początkach XIV wieku kościoła klasztornego, w pobliżu przepływającej tamtędy Nysy Kłodzkiej. Według kroniki klasztoru cystersów z 1592 roku w Kamieńcu znajdowano w czasie budowy kościoła fragmenty murów.
W 1838 roku na wzgórzu wzniesiono pseudogotycki zamek według projektu Karola Fryderyka Schinkla. W czasie ostatniej wojny kamieniecki zamek spustoszyły wojska radzieckie. Część zagrabionych marmurów zdobi warszawski Pałac Kultury i Nauki. W latach sześćdziesiątych obecnego wieku istniało jeszcze częściowo zasypane przejście podziemne do pobliskiego zamku w Ząbkowicach Śląskich. Obecnie w zamku znajduje się kawiarenka i hotel.