La historia del Castillo del I Marqués de Los Vélez, o Castillo de Cuevas del Almanzora, se inicia como complejo fortificado a partir de la conquista cristiana del Reino de Granada por parte de los Reyes Católicos.

Transcurridos unos años desde la caída de los últimos reductos musulmanes del norte de Almería, Granada y Murcia, en 1503 la reina Isabel de Castilla, deseosa de anexionar a la corona la estratégica ciudad de Cartagena, que pertenecía a la familia Fajardo Chacón, fuerza su permuta mediante privilegio. A cambio, los Reyes Católicos otorgan a la familia Fajardo la posesión, además de Vélez Blanco y Vélez Rubio, las villas de Las Cuevas y Portilla. Ya en el año 1507, la reina Juana I concede a la Pedro Fajardo el título de “marqués de Vélez Blanco”, posteriormente generalizado como “marqués de los Vélez”.

Con el marquesado y el dominio de amplios territorios distribuidos por las actuales provincias de Almería y Murcia, el primer marqués buscó el afianzamiento de su poder y presencia en la parte de su señorío más cercana a la costa, para lo que precisaba una fortaleza que pudiera proteger la zona de los ataques de piratas (por su proximidad al mar), y también como centro administrativo que garantizase el cobro de tributos.

Aprovechando una antigua torre de herencia árabe que reformó, hizo trazar la muralla, construida probablemente a lo largo de las dos primeras décadas del siglo XVI. Al recinto se incorporó entre 1517 y 1520 la casa-fuerte o palacio de Marqués. Entre los edificios que se conservan destaca también la Tercia actual (que sustituyó a la primitiva del XVI), construida más de dos siglos después, en 1773.