Uno de los espacios más icónicos de la ciudad —y quizá de los menos conocidos por quien la visita por primera vez— es la Casa de Pilatos, un palacio que combina el estilo renacentista italiano con el mudéjar español cuya construcción data del siglo XV. Desde hace varios años está declarado como Bien de Interés Cultural y Patrimonio histórico de España.
Su nombre, a pesar de la similitud que pueda guardar, no guarda relación con Poncio Pilatos, obviamente. Si no que, el hijo del constructor del palacio y quien finalizó su obra, Fadrique Enríquez de Ribera en un viaje a Jerusalén descubrió que la distancia que habría entre la casa de Poncio Pilatos y el Gólgota era exactamente la misma que entre el palacio recién construido y la Cruz del Campo. Posteriormente se trazaron una docena de estaciones del Vía Crucis, por tradición católica, para unir ambos lugares.