Zbytky hradu Sivý Kameň se nachází na západním okraji pohoří Vtáčnik nad obcí Podhradí.
Na horní Nitře byl jediným střediskem královských majetků Bojnický hrad, a tak vznikla nevyhnutelná potřeba výstavby druhého hradu. Hrad postavili po roce 1330. Do roku 1388 spravovali Sivý Kameň královští kasteláni z Bojnic. Potom přešel do soukromých rukou. Roku 1524 Sivý Kameň vyhořel. V rámci opravných prací ho pravděpodobně rozšířili o střední hrad. Oprava hradu Majténiovce finančně zatížila. Začátkem 40. let napadla sivokamenské panství vojska bratří Jána a Rafaela Podmanickovců. Hrad sice útoku odolal, ale Majténiovci i tak doplatili na věrnost císaři. Povstalecká vojska vyplenila vesnice a způsobila další škody. V polovině 16. století byl Sivý Kameň ještě přestavěn. Rozšířili ho o dolní hrad. 17. století proměnilo Sivý Kameň na zříceninu. Poškozený hrad ztrácel na významu. Téměř neobydlený hrad sloužil už jen jako skladiště a vězení. Jeho úplný konec završilo povstání Františka II. Rákocziho. V letech 1703-1708 na horní Nitře často bojovala kurucká vojska s císařskými. Sivý Kameň byl opět vypleněn a úplně zničen. Vážnému poškození neunikl ani rodový archiv Majténiovců, uložený do té doby na hradě. Opuštěný hrad chátral. Jeho zánik urychlili obyvatelé okolních obcí, kteří ho dlouhé roky používali jako stavební materiál.
Z hradu se dochovaly jen roztroušené, nesouvislé zbytky. Z vnitřního gotického hradu zůstaly obvodové zdi hranolové věže ve velmi zničeném stavu.