Da una scalinata posta accanto all’ingresso del teatro romano si giunge al belvedere del Castello dal quale si può godere di una bella vista sulla città. Intorno alla fine del 1300 sul colle venne costruita una rocca Viscontea, completamente distrutta dalle truppe napoleoniche. Durante la dominazione austriaca, in vece della rocca, venne costruita una caserma militare che poteva ospitare fino a 500 soldati. La caserma disponeva di camerate comuni, eleganti alloggi per ufficiali, uffici di comando, depositi e laboratori.