Il castello Aragonese sorge sull'isoletta tra i due canali. Fu commissionato da Ferdinando d'Aragona, collaborò nella progettazione Francesco di Giorgio Martini tra il 1481 e il 1492.

I lavori della sua edificazione consistettero nel totale rifacimento di un'antica rocca bizantina e nel taglio della penisola che diede origine al canale di comunicazione tra il mar Grande ed il mar Piccolo. Il castello fu costruito a pianta quadrangolare ed è stato ingrandito nel 1577.Anticamente era dotato di due ponti levatoi: il ponte del Soccorso che si apriva a levante, verso la campagna, ed il ponte dell'Avanzata, che si apriva verso la città.

Attualmente consta di quattro torrioni intitolati rispettivamente a San Cristofalo e a San Lorenzo ( quelli rivolti alla città nuova) alla Bandiera ed alla Vergine Annunziata (quest'ultimi rivolti alla città vecchia). Nel secolo scorso fu trasformato in carcere, mentre ora è sede del Comando della Marina. All'interno vi si trova la cappella di S. Leonardo, rifatta nel XVI secolo e recentemente restaurata, la quale nel 1933 fu riconsacrata (anticamente la cappella di S. Leonardo era dedicata a Santa Maria la quale esisteva sin dalle origini nella rocca bizantina; qui nel 1407 fu celebrato il matrimonio di Maria D'Enghien, vedova del principe di Taranto Raimondello Orsini, con il Re di Napoli Ladislao. Costui, impadronitosi della città, guadagnando con il matrimonio ciò che non aveva ottenuto con l'assedio, una volta a Napoli, ordinò che la regina fosse tenuta prigioniera. Solo alla sua morte ella potè essere liberata e, rientrata in possesso dei suoi titoli, si ritirò a Lecce ove morì dopo più di trent'anni.

Questa storia della principessa, che dopo aver resistito a un lungo assedio, cede alle lusinghe della proposta di matrimonio facendo un pessimo affare, ha generato un motto popolare: " 'U uadagne de Maria Prene" laddove "Prene", storpiatura del nome del casato "Brienne" ha, in dialetto tarantino, il significato di "gravida"; il motto si usa in riferimento a quelle ingenue ragazze che, lusingate, si lasciano sedurre e poi rimangono incinte e abbandonate. - Il matrimonio di Maria D'Enghien viene tuttora ricordato con una manifestazione in abiti d'epoca). Di notevole importanza all'interno del castello è il salone di rappresentanza del Comando in Capo della Marina Militare che coincide con gli appartamenti che ospitarono re e principi durante il loro soggiorno a Taranto, mentre un'ala del castello è destinata a Galleria Comunale.