En 1516 se desmanteló por orden de Cisneros, aunque fue restaurado más tarde. La fortaleza de Javier es conocida sobre todo por ser el hogar de San Francisco. Se conserva el aposento del santo -abierto al público- y un crucifijo que según la tradición popular sudó sangre el día en el que el misionero falleció en China. En estos momentos se ha convertido en un lugar de peregrinación religiosa.

El castillo se divide en varias zonas; la puerta principal, a la que se llega mediante un puente levadizo que salva el foso; el Patio de Armas, con un aljibe; la poterna, puerta situada al final del patio y por la que se accede al interior de la edificación; la torre del Santo Cristo, a cuya derecha se halla la capilla del Cristo sus paredes están decoradas con pinturas murales sobre la danza de la muerte; la Torre del Homenaje, llamada también la Torraza o torre de San Miguel; la sala Grande, situada enfrente de la capilla; el antiguo comedor, la cocina, la chimenea y el cuarto de estar, de cuyas paredes cuelgan algunas muestras de pintura española y flamenca; y la Sala de Capellanes, que sirvió de vivienda a estos religiosos a partir del siglo XVII. Adosada al castillo se encuentra una basílica de estilo neogótico (S. XVII), de la Anunciación, que guarda un bello retablo rococó.