Hrad se nachází na vápencové skále nad obcí Považské Podhradí.
Byl postaven koncem 13. století jako odpověď na vpád Tatarů na Slovensko roku 1242. Uherský král Bela IV. dal tehdy postavit více kamenných hradů na Pováží. První písemná zmínka o hradě Bystrica je z roku 1316. Jako královský hrad byl spravován ustanovenými kastelány. Do vlastnictví rodiny Podmanických se hrad dostal roku 1458, kdy král Matěj Korvín daroval hrad a panství Bystricu Ladislavovi Podmanickému. Rod Podmanických byl významným rodem v tehdejším Uhersku. Po nich připadl hrad roku 1571 Ondřeji Balašovi, který byl hlavním královským komorníkem a novohradským županem. Jeho syn Imrich dal roku 1631 pod hradem postavit zámek a opustil hrad, který roku 1623 vyhořel. Od té doby jsou z hradu jen ruiny.