El palacio del Marqués, levantado entre 1517 y 1521, está construido sobre una planta pseudorectangular de 24 por 19 metros aproximadamente. Es una casa-fuerte de dos niveles rematada en sus esquinas por bastiones cilíndricos. Todos sus lienzos son de sillares de roca sedimentaria que conforman una bella fábrica bien trabada sobre la que se abren numerosas ventanas, de mayor tamaño en la planta superior.
El palacio exhibe un gran número de elementos de la poliorcética (disciplina encargada de construir fortalezas, bastiones, baluartes o fortificaciones) medieval tradicional. El muro exterior está coronado por amplios merlones en los que se insertan buzoneras en ángulo y de doble tiro, y otras esquineras. Desde la cubierta de la casa-fuerte era posible controlar toda la plaza de armas y los edificios del recinto. A la altura de la cornisa que separa los dos niveles del palacio hay una serie de troneras que están diseñadas para la defensa de los cubos esquineros.
Todos estos sistemas permitían mediante disparos de flanqueo defender la puerta de acceso y las ventanas, zonas más vulnerables en caso de asedio. Además, sobre la entrada podemos ver un gran matacán de piedra concebido para disparar verticalmente con armas ligeras de fuego, lanzar piedras y verter líquidos hirviendo como agua y aceite. Entre los pocos elementos decorativos con que cuenta la fachada del palacio cabe destacar las bolas de piedra que penden de la cornisa de los cubos defensivos.
Al cruzar la puerta fortificada del palacio, se encuentra un amplio zaguán con acceso un patio de planta rectangular que cuenta en su flanco este con una doble galería de arcos rebajados que apoyan sobre una columna intermedia labrada en mármol blanco de Macael. El patio del palacio es el elemento que organiza y estructura al resto de dependencias.
