Si lascia l'Annunziata per salire alla pineta La Serra, dove sono ancora visibili le antiche torri utilizzate per la caccia ai colombi. Da visitare anche la chiesetta di S.Maria a Toro, risalente all'anno 1000 circa.
Dalla Serra si raggiunge il Castello, roccaforte costruita nell'VIII sec. Esso è detto di S.Adiutore perchè su questo colle si vuole vi fosse la cella in cui si ritirò il Vescovo Santo, nel V sec. La fortezza fu danneggiata nel settembre 1943 e fu restaurata completamente nel 1970.La data della costruzione del Castello è incerta: alcuni studiosi la datano intorno al 787; altri invece intorno al IX -X sec. E' certo che il castello fu donato dal duca Ruggiero al figlio Roberto, figlio del normanno Algerico, verso al fine del XI sec. Nel 1110 fu acquistato dal Monastero della S.S. Trinità per 1.010 schifati: era abitata da un monaco e da un laico che comandava le guarnigioni che vivevano sul castello.Il monastero poi perse il possesso del castello di S.Adiutore nel 1291 quando fu distrutto da Roberto conte di Arras, vicario di re Carlo II d'Angiò. Ricostruito nel 1380 ( per questo venne imposta ai cavesi una gabella ), il castello divenne una postazione militare sino al 1943 , quando iniziò la decadenza della struttura, a seguito dei bombardamenti tedeschi durante il II conflitto mondiale. Nel 1970 l'Amministrazione comunale restaurò il sito e a ricordo di ciò fu posta una lapide.