Sorto in epoca normanna-sveva, venne ampliato e ingentilito dagli Angioini. Si presume che tra queste mure nacque Isabella Chiaromonte, figlia di Tristano e Caterina Orsini del Balzo, che divenne regina di Napoli.