Hrad Skály nechal pravděpodobně vybudovat koncem 14. století Matěj Salava z Lípy, který se později stal husitským hejtmanem a spojencem orebitů. Přibližně od roku 1430 odtud byly podnikány loupeživé výpravy do Slezska a Lužice, což se Slezanům nelíbilo, a proto ho roku 1447 odkoupili a zbořili. Jako jediný ze tří hradů byl však narychlo opraven a již po sedmi letech je na něm zaznamenán nový vlastník Kočka, po kterém se zachovalo i jméno hradu Katzenstein. Po něm se zde vystřídalo několik majitelů, z nichž žádný na hradě neměl trvalé sídlo, a tak hrad pomalu pustl a chátral: Roku 1576 již je uváděn jako pustý.
Hrad byl vystavěn v části skalního města a některé skalní útvary se staly součástí jeho opevnění. To bylo navíc zesíleno kamennou zdí na severu, která tvořila předhradí hradu. Hrad byl také chráněn příkopem a zemní čtverhrannou baštou. Ze zděné stavby se zachovaly vysekané místnosti ve skalních blocích, schodiště a zaklenutá místnost s valenou klenbou. Z vrcholu skály, na které byl hrad umístěn, je pěkný výhled na hraniční Javoří hory, Kamenné hory v Polsku, Ostaš, Broumovské stěny i Orlické hory.
Po sestupu z hradu se nezapomeňte projít okolo kouzelného Černého jezírka, jež má jméno podle svého zbarvení, které získalo díky rašelině a mechům v podloží. Jedná se o malou vodní nádrž, kterou zde nechal uměle vybudovat biskup Matouš Ferdinand Sobek z Bílenberka pro chov ryb. To se však nepodařilo, protože voda v jezírku byla vinnou rašeliny moc kyselá, a tak se mělké jezírko přirozeným vývojem stalo domovem pro mokřadní a rašelinná společenstva s výskytem vzácných druhů živočichů i rostlin. Nedaleko jezírka také můžete navštívit barokní zámeček Bischofstein, který v minulosti sloužil jako letní sídlo hradeckých biskupů a jehož podoba se zachovala z roku 1666. V současnosti je v prostorách zámečku provozována restaurace.