Es un amplio edificio situado en el casco antiguo de la ciudad, en pleno barrio de la Magdalena. Está instalado en el Palacio del Primer Conde de Villardompardo y Virrey de Perú, edificio renacentista construido en el siglo XVI.
Una vez se accede al edificio puede encontrarse a la derecha una sala de exposiciones temporales.
El edificio alberga además de a los Baños Árabes (los más grandes y mejor conservados de Europa), a dos museos: el Museo de Artes y Costumbres Populares y el Museo Internacional de Arte Naïf.
El primer museo está dedicado a la cultura y costumbres de la provincia de Jaén. En él se muestran los modos de vida populares anteriores a la industrialización . La colección se divide entre varias plantas. Hay saldas dedicadas a diversas cosas: por un lado a la vid, el olivo, el cereal y el agua; por otro a pesos, medidas y transporte. También hay salas de la infancia, casas rurales, cerámica, textiles y la sala burguesa. Por último, se encuentran las salas de matanza, talleres y oficios artesanos y la sala dedicada a la religiosidad popular.
El segundo museo está dedicado al arte naïf en España. Es una corriente artística que se caracteriza precisamente por su ingenuidad y espontaneidad, con colores brillantes, muy similar al arte infantil. Es el primer museo dedicado a este arte en España y cuenta con más de 600 obras de artistas tanto nacionales como internacionales.
En la planta más alta hay una cafetería bastante asequible y un mirador próximo desde donde disfrutar de las vistas de la ciudad.
En el Palacio se hacen con frecuencia eventos culturales, tales como conciertos.
Accesibilidad:
Para acceder al edificio hay que subir una rampa con bastante pendiente y seguidamente bajar otra, menos inclinada. La puerta principal separa las dos rampas y es manual pero de fácil apertura, mientras que la puerta que hay justo después es automática. No hay entrada secundaria.
El edificio es bastante accesible y se puede circular por sus estancias cómodamente. En cada planta encontramos diferentes rampas y ascensor para facilitar el acceso. El ascensor es lo suficientemente amplio y dispone de sistema de señalización visual, así como de botones numerados con su correspondiente equivalencia en braille.
En relación al cuarto de baño, el inodoro dispone dos barras de apoyo, una de ellas abatible y la otra fija. El lavabo en general es accesible, aunque no hay espejo.