Hrad se nachází v historickém centru Banské Bystrice na náměstí.
Na rozdíl od velké většiny hradů, které postavili na samostatných a vhodných místech pro opevnění, některé hrady tvořily součást městského celku buď na jeho okraji (byly současně začleněny do městského opevnění), nebo ve dvou případech (Banská Bystrica, Kremnica) skoro v jeho středu.
Základem městského zámku v Banské Bystrici je románský kostel, který byl později v gotice přestavěn a zvětšen. Podle samotné stavby a zařízení kostela je možné udělat si představu o bohatství bystrických měšťanů. Ti bohatli z těžby rud v okolí, většinou měděných, a z výnosu obchodu a řemesel. Postupně kostel získával charakter hradu. Roku 1479 byl postaven víceposchoďový dům krále Matěje, dále pak hradby s věžemi, ze kterých se skoro všechny zachovaly, hlavně barokně přestavěná věž s malým nádvořím směrem k hlavnímu náměstí. Budovy ještě doplnili v první polovině 16. století renesanční radnicí. Zámek se stal ochranným úkrytem měšťanů v době hornického povstání (1525 - 1526). Dnes jsou v zachovaných budovách zámku převážně kulturní instituce (krajská galerie, muzeum a jiné).