Vyjdeme-li branou ze zámeckého areálu, můžeme se vydat vlevo Jiráskovou ulicí. Po pár krocích dojdeme k Muzeu domečků, panenek a hraček (čp. 4), které představuje rozsáhlou kolekci soukromé sběratelky s exponáty od roku 1850 po současnost. Jen o kousek dál, ve dvoře sídla fakulty restaurování (Jiráskova 3), stojí Červená věž, pozůstatek opevnění horního města z doby kolem roku 1500. Věž s originální střechou z roku 1995 od Mikuláše Hulce a Evy Antošové je využívána fakultou jako výstavní prostor.
Půjdeme-li ze zámeckého areálu rovně kolem moderní přístavby piaristické koleje, vejdeme do Klášterních zahrad. Krásný městský park, který otevírá úchvatný pohled na město, vznikl v roce 2000 podle projektu Zdeňka Sendlera, Radko Květa a Václava Babky. V parku nalezneme sochy od Olbrama a Jasana Zoubkových a Židli od Magdaleny Jetelové.
Ze zahrad vyjdeme druhou stranou u kostela Povýšení sv. Kříže a za parkovištěm vlevo přejdeme Zámeckou ulici. Stojí zde socha Zdeňka Nejedlého, litomyšlského rodáka, historika, a také nechvalně proslulého komunistického politika. Dětství prožil v sousedním domě (vlevo, u malého parkoviště, čp. 218). O osudu pomníku od Jana Hány z roku 1978 se po sametové revoluci vedly ve městě vášnivé debaty, které dodnes zcela neutichly. V roce 1992 nechalo město u sochy umístit desku, upozorňující na rozporuplnost této postavy.
Úzkou Prkennou ulicí projdeme k Portmoneu – Museu Josefa Váchala.
Vrátíme se zpět ke kostelu (dříve děkanskému či proboštskému, dnes kapitulnímu) Povýšení sv. Kříže u Klášterních zahrad a projdeme klenutým průchodem k jeho bočnímu vchodu. Kostel byl původně součástí augustiniánského kláštera založeného biskupem Janem ze Středy v roce 1356. Na boku kostela jsou odkryté stopy kleneb křížové chodby kolem původního klášterního rajského dvora. Klášter zanikl za husitských válek a byla sem přenesena fara od kostelíka sv. Klimenta. Jižní předsíň asi z roku 1525, u níž stojíme, má ve svorníku znak Kostků z Postupic. Západní, renesanční tzv. Manričina předsíň, byla postavena začátkem 16. století za Marie Manrique de Lara. Během staletí prošel kostel řadou úprav.
V interiéru je cenná gotická kaple sv. Josefa s výmalbou z konce 14. století. Význam chrámu byl potvrzen, když při něm byla v roce 1994 – u příležitosti 650. výročí vzniku litomyšlského biskupství – založena kolegiátní kapitula.
Pod věží kostela stojí dnes již zaniklá Augustova tiskárna (čp. 182), jež navazovala na tradice tiskárny
z 16. století. V 19. století zde vyšla díla Boženy Němcové či Jana Nerudy.
Po schodišti sejdeme dolů a vydáme se ulicí vpravo. Mineme starobylý hostinec U Černého orla, společenské a kulturní centrum v době národního obrození a vejdeme na Toulovcovo náměstí.