El Castillo del Primer Marqués de Los Vélez es un impresionante conjunto concebido en su origen como baluarte defensivo. Desde el punto de vista arquitectónico dispone de cinco elementos principales.
Su historia se inicia como complejo fortificado a partir de la conquista cristiana del Reino de Granada por parte de los Reyes Católicos, construido sobre una antigua torre de herencia árabe. A principios del siglo XVI se creo su muralla perimetral y entre 1517 y 1520 se le incorporó la actual casa-fuerte o palacio del Marqués.