Uno de ellos, Pedro Fernández de Castro, ordenó reformar las torres de la fortaleza vieja, y posteriormente, D. Fadrique Enríquez, duque de Arjona, comenzó la construcción de la Torre del Rastrillo que fue finalizada por Pedro Alvarez Osorio, que mandó a su vez levantar la Nueva Torre del Homenaje, la de Cabrera y la de Monclín, el velador de los azulejos, la Sala de Armas y la bodega. Durante los siglos XV y XVI se fortaleció la torre de Malvecino y se construyó la de Juan de Torres, la mina o Coracha y sus baluartes.

El Castillo llegó prácticamente intacto hasta 1811, año en que se dispuso la voladura de las fortalezas interiores para evitar que cayeran en manos de los franceses.

En 1924, tras numerosos ataques que fueron destruyendo, cada vez, más elementos de este antiguo castillo, fue declarado Monumento Histórico Artístico. Actualmente se ha aprobado un plan destinado a su restauración.

La fortaleza estaba rodeada por un foso, excepto por la parte oeste en que el río Sil forma una defensa natural. Este foso se salvaba mediante un puente levadizo, que ha sido reconstruido como fijo para alcanzar la puerta, la cual, está flanqueada por dos torreones cilíndricos que se unen a ella mediante un arco doble de medio punto. Estas torres están rematadas con almenas de albardilla y anexadas por una terraza voladiza.

Dentro del recinto del fortín, a la izquierda, se encuentra la Torre Rastrillo o de los Caracoles.
La portada de esta torre también está flanqueada por dos torreones cilíndricos acabados en matacanes. Al fondo del espacio fortificado está el Castillo Viejo, con una puerta gótica rematada de matacanes.

La Nueva Torre del Homenaje, situada al fondo izquierda de la Fortaleza Vieja, es la mejor conservada del Castillo. Tiene 24 metros de altura y lleva adosada una pequeña torreta con una reducida escalera de caracol. La Vieja Torre del Homenaje es un cubo macizo con una ventana hacia el interior en cuyo dosel semicircular está grabado el escudo del castillo.