Zamek Střmen został zbudowany na kilku blokach skalnych w środku głębokiego leśnego pogranicza. Znaczna część zamku została wydrążona w masywie skalnym, a wieża zamkowa powstała z ukształtowanej i obrobionej formacji skalnej z licznymi wycięciami na belki, na których spoczywały drewniane galerie i pomosty. Na mniejszej skale przed wieżą prawdopodobnie znajdował się umocniony szałas połączony z wieżą drewnianym mostem.
Pierwsza pisemna wzmianka o zamku znajduje się w Majestas Carolina (1350), gdzie wymieniany jest jako zamek królewski, który władca mógł zastawić na określonych warunkach. Zamek Střmen otrzymał swoją nazwę od herbu, na którym przedstawiony był strzemię. Po 1363 roku zamek został zakupiony przez panów z Dubé i Náchoda, którzy posiadali go do 1436 roku. Jego dalsze losy są nieznane, ale ogólnie przyjmuje się, że podobnie jak Skály i Adršpach, trafił w ręce husytów i został zniszczony podczas wojen husyckich lub później w 1447 roku przez Ślązaków.
Dziś zamek przypominają jedynie obrobione ściany skalne, wycięcia na belki i resztki schodów. Na najwyższej skale, gdzie stała wieża zamkowa, znajduje się dziś przystosowany taras widokowy, oferujący piękne widoki na okoliczne skały i zalesione wąwozy.