En junio de 1488 las fuerzas castellanas encaran una última ofensiva en la frontera oriental del Reino de Granada. Sin la menor oposición fueron tomadas casi cincuenta villas y ciudades, entre las que destacaban por importancia y población Vera, Mojácar, Níjar, Vélez Blanco y Huéscar. Fue un paseo triunfal.
Tras un breve período de dependencia del Corregimiento de la ciudad de Vera, jurisdicción de realengo, en el verano de 1495 la situación cambió, puesto que Las Cuevas, Portilla y los dos Vélez, junto con algunas otras poblaciones situadas en la actual provincia de Granada, son cedidas por la Corona a don Luis de Beaumont, condestable de Navarra y conde de Lerín. Desde este momento, Las Cuevas y Portilla, modifican su estatus jurídico abandonando su consideración de tierra de realengo y convirtiéndose en posesiones de señorío, cambiando su dependencia administrativa y desvinculándose de Vera.
El señorío de Beaumont se prolongó hasta 1503, cuando la reina Isabel I de Castilla posó sus ojos y ambiciones en la importante y estratégica ciudad de Cartagena, la joya del adelantado Pedro Fajardo y Chacón. La administración contenía también un amplio conjunto de territorios además de Cartagena, dentro de la actual provincia de Murcia.
Los Reyes Católicos reclamaron para sí Cartagena mediante privilegio elevado el 24 de julio de 1503, en el que Isabel aseveraba que esta ciudad “con todo lo que le pertenece es del patrimonio de la Corona Real”. El documento recogía igualmente las compensaciones que Fajardo recibiría a cambio: Vélez Blanco, Vélez Rubio, Las Cuevas y Portilla, además de 300.000 maravedís de juro de las alcabalas y rentas de Murcia y Lorca. Se materializaba de este modo una permuta que su majestad declaraba haber convenido de mutuo acuerdo y sin discrepancia alguna, unas idílicas circunstancias que historiadores muy solventes han rebatido después a través de documentos incuestionables.
No obstante, las cuatro villas mencionadas se sumaban a otras, que los progenitores de Pedro Fajardo y Chacón habían incorporado o incorporarán más tarde a sus dominios y que mantenían unos estrechos vínculos con Las Cuevas, sobre todo con la reforma administrativa del Marquesado en 1661 y la creación de una alcaldía mayor en esta villa.
El 15 de octubre de 1507 la reina Juana I, aquella a la que apodaron la Loca, le concedió el título de marqués de Vélez Blanco a don Pedro Fajardo y Chacón, culminante desenlace para un linaje que entraba en un nuevo tiempo con tan impecable distinción nobiliaria. Luego, esa concreción geográfica que acompañó al título en sus inicios se desvaneció hasta adquirir la denominación más genérica de “marqués de los Vélez”.
El nuevo marqués para afianzar su poder y presencia en todos y cada uno de sus dominios, y por el peligro de la cercanía a la amenazada costa de levante, se dispuso a la construcción de un complejo defensivo que mostrase su poder señorial. Partiendo de la precedente torre o atalaya (actual torre del homenaje), herencia árabe, que reformó, hizo crecer la muralla que hoy circunda el conjunto arquitectónico.
En el interior del recinto amurallado se crearon habitaciones adosadas a la muralla que servían de residencia a la servidumbre y al contingente militar. Pero era preciso construir una eventual residencia para el Marqués y que sirviera de alojamiento del alcaide que debían velar cotidianamente por sus derechos y administración. En la construcción de la Casa del Alcaide o Palacio del Marqués participaron el “Grupo de los vizcaínos”, una cuadrilla de albañiles, canteros y carpinteros de aquella procedencia geográfica que fueron contratados por Lope Sánchez Desturizaga, maestro de obras civiles del Marques de Los Vélez. Según el propio testimonio de aquel, el mencionado grupo trabajó en la construcción de la fortaleza de Vélez Blanco durante dos años y medio desde donde, una vez finalizadas las obras, se trasladó hasta las posesiones levantinas del noble para edificar un nuevo castillo. El edificio habría sido levantado entre 1517 y 1519 o principios de 1520. En tiempos del primer marqués debió levantarse también una primera tercia, ya que la fortaleza cuevana fue concebida desde un principio como despensa y almacén de los tributos rendidos por la población; este edificio sería sustituido por el que actualmente se conserva, levantado en el último tercio del siglo XVIII y destinado a las mismas funciones.
En el siglo XVIII la Casa de los Fajardo se incorpora a la de Medina Sidonia, que sigue utilizando el castillo de Cuevas como signo del poder político nobiliario en la villa. Un siglo más tarde, en 1837, durante la Regencia de María Cristina, se abolen los señoríos, pudiéndose desvincular las propiedades del antiguo mayorazgo, lo que permitía heredar el castillo a cualquier hijo del señor, siendo una hija de Francisco de Borja Álvarez de Toledo y Gonzaga, XII marqués de los Vélez y XVI duque de Medina Sidonia, María Tomasa Álvarez de Toledo y Palafox, la nueva titular del castillo, que se casó con Pedro Caro y Salas, IV marqués de la Romana. En la primera inscripción del castillo en el Registro de la Propiedad de Cuevas del Almanzora correspondiente al año 1883, aparece el primer propietario distinto al marqués de los Vélez; se trata de Carlos Caro y Álvarez de Toledo, segundo hijo del matrimonio.
Un nieto de este Carlos Caro y Álvarez de Toledo, Carlos Caro y Potestad, fue nombrado por el rey Alfonso XIII conde de Cuevas de Vera, que trasmitió la propiedad a sus hijos Mencía María de las Mercedes y Carlos. Con la primera y los hijos de Carlos, representados por su tía, firmó el entonces alcalde Antonio Llaguno Rojas la escritura de compraventa del Castillo como alcalde de Cuevas.
Efectivamente, el 31 de marzo de 1989 se procedió a la firma del documento notarial, que establecía el precio de compra en 57 millones y medio de pesetas. De esta cantidad, 40 millones se obtuvieron mediante un préstamo bancario y el resto a través de las aportaciones realizadas por el pueblo. El castillo que fue de los Fajardo primero, de los Álvarez de Toledo después, y, finalmente de los Caro, pasaba a ser definitivamente de los cuevanos y cuevanas.
