Městská galerie Litomyšl sídlí v domě U Rytířů, který pochází ze 40. let 16. století. Je významný dochovanými renesančními prvky v interiéru, hlavně však bohatou reliéfní výzdobou na kamenné fasádě. Postavy dvou rytířů daly domu jméno. Poprvé se tento název objevil v Jiráskových Maloměstských historiích, souboru povídek z prostředí Litomyšle.