Sin que los nobles titulares del castillo del primer Marqués de Los Vélez lo habitaran durante siglos, el edificio se fue deteriorando, hasta que su mal estado de conservación hizo que en 1959 el Estado encargara un informe sobre su situación. El funcionario autor del mismo ratificó el deterioro de la fortaleza y de que “personas desafortunadas en el modo de pensar, con poco sentido de ética, estructura y conservación de nuestra historia local, edificaron la actual plaza de abastos delante de la muralla principal de entrada al Castillo, quitando con ello vistosidad al mismo, pero más aún, los propietarios actuales del Castillo nunca tuvieron que permitir que el mercado diario de pescados quedara emplazado formando parte de la obra de la Torre del Homenaje...”. Esta situación hizo que la ciudad de Cuevas viviera de espaldas al Castillo.

En 1987 la situación había empeorado, hallándose en estado casi ruinoso, con desprendimientos de piedras de las murallas y de las paredes de los edificios que lo integraban.

Ante esta situación, el equipo de gobierno municipal consideró que era urgente su adquisición para restaurarlo y ponerlo en valor. No sin obstáculos se inició el camino para la adquisición de la propiedad, para lo cual se contactó con los representantes de la propiedad.

Tras los primeros contactos con los abogados, se convocó a la junta de portavoces de la corporación el 29 de septiembre de 1988, para tratar la compra del castillo. Se constituyó, en este contexto participativo, una comisión de seguimiento (PSOE, PP e IU), encargada de estudiar la mejor forma de financiar su adquisición y otros aspectos colaterales de la compra.

La negociación se inició en ochenta millones de pesetas, aduciendo los propietarios que tenían cierta información de empresarios de la zona que decían apostar por esa cifra para dedicarlo a distintos usos. Fuera o no verdad, se adujo la posible exigencia del Ayuntamiento a los propietarios de su restauración o, inclusive, la expropiación al estar declarado éste como monumento histórico-artístico desde 1985. Finalmente el precio de venta fue de 57 millones y medio de pesetas, más próximo a su valor catastral.

Para hacer posible que el castillo fuese disfrutado por los vecinos y visitantes, se hacía necesaria la restauración del complejo arquitectónico y de este modo pudiese albergar distintos servicios socio-culturales.

Se derribo del antiguo mercado de abastos y la pescadería para que pudiese contemplarse en toda su integridad la fortaleza. También se remodeló la antigua plaza Condesa de Algaida hoy de la Libertad entre mayo y noviembre de 1991.

A esta actuación siguió la rehabilitación y adecuación de la Casa de la Tercia por una escuela-taller entre principios de 1990 y la primavera de 1991. Desde la conclusión de estas obras, el edificio albergó la Biblioteca Municipal.

En los primeros meses de 1992 se rehabilitaron y reforzaron las murallas del castillo y se iniciaron las obras de restauración del Palacio del Marqués o Casa del Alcaide, donde se ubicó a partir de su inauguración el 3 de noviembre de 1994 el Museo de Arte Contemporáneo Antonio Manuel Campoy, la primera pinacoteca de la provincia.

También se aprovechó para generar un espacio escénico al aire libre en el patio de armas y la restauración de la torre del Homenaje, otras obras menores como la antigua casa del aguacil, que fue oficina de turismo durante un tiempo, y las antiguas bodegas, en las que se acomodaría después la Sala Goya del Museo Antonio Manuel Campoy.

La mayor parte de todas estas obras de restauración, con excepción de una pequeña aportación municipal, se hizo a través de las correspondientes subvenciones de las Consejerías de Cultura y de Obras Públicas de la Junta de Andalucía, y del Ministerio de Trabajo, mediante dos escuelas-taller.

En un tiempo récord se recuperó para el pueblo el principal patrimonio del municipio y, lo más importante, se restauró y fue utilizado para distintos servicios culturales y de interés general.