Vrátíme se Havlíčkovou ulicí na Smetanovo náměstí a vydáme se hned vlevo Jiráskovou ulicí kolem budovy pošty. U máchadla můžeme zatočit do Mariánské ulice, kde je Galerie Zdeněk Sklenář pořádající výstavy moderního a současného umění a také 1art pro umění, volně přístupná miniaturní oáza klidu. V této ulici a na řadě dalších míst jsou umístěny umělecky ztvárněné lázeňské lavičky od různých autorů.
Na Jiráskově ulici projdeme malým parkem s pomníkem Aloise Jiráska od Vincence Makovského, odhaleným roku 1959, a vyjdeme na zámecké návrší, a to přímo v místech původního středověkého vstupu, tzv. scholastikovy brány, jejíž dochované zbytky jsou pod třemi „hříbky“ na šikmé ploše před muzeem.
Zámecké návrší, sídlo majitelů města, prošlo během devíti staletí bouřlivým stavebním a historickým vývojem. Již na konci 11. století zde vznikl kostel či benediktýnský klášter. V druhé polovině 40. let 12. století jej vystřídal premonstrátský klášter nazvaný Hora Olivetská, jehož zakladatel, olomoucký biskup Jindřich Zdík, jej takto nazval údajně pro podobnost návrší s biblickým vrchem v Jeruzalémě, který viděl na vlastní oči při své pouti do Svaté země. V roce 1344 vzniklo litomyšlské biskupství, na návrší byla budována reprezentativní katedrála a biskupské sídlo. Po zániku biskupství za husitských válek se Litomyšle zmocnili Kostkové z Postupic, palác biskupa přestavěli na hrad a na konci 15. století založili nové, horní město, které osídlili převážně členové jednoty bratrské. Hrad v 16. století nahradil pernštejnský zámek, horní město zámecký pivovar a v 17. a 18. století především budovy piaristů. Nejnovější stavby na návrší pochází z let 2011–2015, kdy s pomocí evropských fondů bylo opraveno dvanáct objektů a prostranství.
V roce 1640 Frebonie z Pernštejna, poslední příslušnice svého rodu, uvedla do Litomyšle piaristický řád. Jeho hlavním účelem bylo bezplatné vzdělávání chudých chlapců. Areál začíná školní budovou z let 1714–1719. Piaristé zde poskytovali základní a středoškolské vzdělání, později tu působil i filozofický ústav. Studovaly a vyučovaly zde významné osobnosti své doby, právě tady se odehrává známá novela Filosofská historie od zdejšího profesora Aloise Jiráska. Od roku 1926 zde sídlí litomyšlské muzeum.
Vedle stojí monumentální piaristický kostel Nalezení sv. Kříže z let 1714–1722, který stejně jako školy navrhl Giovanni Battista Alliprandi. Barokní stavbu dokončil František Maxmilián Kaňka. Sochařská výzdoba pochází z dílen M. B. Brauna a sochařských rodů Pacáků a Heinrichů. Na horní balustrádě stojí sochy sv. Václava a Prokopa, nad vchodem jsou alegorie Naděje a Lásky. Chrám byl zpřístupněn veřejnosti po dlouhých desetiletích až v roce 2014, kdy došlo k náročné opravě dle projektu Marka Štěpána. Interiér obohatila tři díla proslulého světového výtvarníka Václava Ciglera a jeho kolegy Michala Motyčky využívající masivní sklo i laserovou technologii. Dále je možné navštívit vyhlídku mezi věžemi a expozici Andělé na návrší – muzeum církevního umění královéhradecké diecéze, které představuje zdejší církevní dějiny, piaristický řád a tvorbu špičkových i místních umělců. V kostele je část dětského programu s názvem Vzhůru k andělům.
Na kostel navazuje piaristická kolej, kdysi sídlo členů řádu. Dnes zde působí fakulta restaurování pardubické univerzity. Čtvercová budova s centrálním dvorem vznikla v letech 1641–1681. Zdobí ji portál z roku 1685 se znakem řádu a dubové dveře s erby Pernštejnů a Trautmannsdorfů. Autorem rekonstrukce a moderní přístavby koleje s univerzitní knihovnou a sálem dokončené v roce 2015 je Aleš Burian.
Naproti koleji, v nároží zámecké zahrady, stojí socha sv. Metoděje z roku 1878. Socha se váže k prvnímu farnímu kostelu sv. Klimenta, který stál nejpozději od 12. do 15. století přibližně v nároží mezi muzeem a kostelem. Připomíná pověst o založení kostela samotným Metodějem, který šel tudy z Moravy a na zemské hranici, na níž se tehdy Litomyšl nacházela, měl založit tento kostel jako vůbec první v Čechách.
Přes prostranství před kolejí nově upravené dle projektu Josefa Pleskota projdeme k průčelí pivovaru, kde je vstup do informačního centra a dále branou na první zámecké nádvoří. V těchto místech, zhruba od poloviny nádvoří do poloviny francouzské zahrady, se asi metr pod zemí nacházejí pozůstatky románské klášterní baziliky a biskupské katedrály.