Při výkopových pracích na budově nového centra se nenarazilo na žádné archeologické nálezy, což dokresluje obrannou funkci svahů pro středověký hrad a jejich spíše zemědělské využití. To pokračovalo i po zbourání hradeb a rozvoji výstavby za hradbami. V dobách prosperity, na přelomu 19. a 20. století, pokrývaly celý severní svah Špilberku romantické zahrady přilehlé k měšťanským domům podél ulice s produkční i okrasnou funkcí.

Velmi zajímavou součástí historie je působení Arnošta Emanuela Silvy Taroucy (pěstební pokusy na svazích Špilberku) a poté Řádu milosrdných sester sv. Karla Boromejského, které naproti Obilného trhu vybudovaly klášter s hospicem a dívčí školou. Sestry využívaly zahrady k produkci zeleniny i k chovu domácích zvířat pro potřeby klášterní kuchyně.

Válka a komunistický převrat

Do přirozeného vývoje Švábky krutě zasáhla 2. světová válka, vyhnání části vlastníků židovského původu, bombardování ulice v listopadu 1944 a po komunistickém převratu vyvlastnění zbylých domů a vysídlení sester Boromejek. 

V poválečných letech byly zahrady ještě využívány nájemníky činžovních domů, ale postupně začaly pustnout a v devadesátých letech je částečně osídlili bezdomovci. Teprve nyní, po vyjasnění vlastnických vztahů i díky restitucím, se území postupně začíná revitalizovat. Nadace Partnerství k tomu přispěla projektem Otevřené zahrady a městské minifarmy na restituovaných pozemcích Boromejek, kterou sestry s pochopením podporují.