Hrad Střmen byl postaven na několika skalních blocích uprostřed hlubokého pomezního lesa. Podstatná část hradu byla upravena ze skalního masivu a také hradní věž tvořil upravený a otesaný skalní útvar s množstvím zářezů pro zasazování trámů, na nichž ležely dřevěné pavlače a můstky. Na menší skalce před skalní věží byl pravděpodobně opevněný srub, spojený s věží dřevěným mostem.
První písemná zmínka o hradu se nachází v Majestas Carolina (1350), v němž je uveden jako královský hrad, který mohl panovník dát za určitých podmínek do zástavy. Své jméno získal Střmen podle jejich erbu, na němž byl vyobrazen třmen. Po roce 1363 koupili hrad páni z Dubé a z Náchoda, kteří ho měli v držení až do roku 1436. Jeho další osudy jsou ale neznámé. Obecně se soudí, že se dostal stejně jako Skály a Adršpach do rukou husitů a byl zničen ještě za husitských válek nebo potom v roce 1447 Slezany.
Dnes hrad připomínají jenom otesané skalní stěny, zářezy pro trámy a zbytky schodů. Na nejvyšší skále, kde stávala hradní věž je dnes upravená vyhlídková plošina, poskytující krásný rozhled na okolní skály a zalesněné rokle.