Tras la conquista de Sevilla por Fernando III El Santo, se hizo el reparto de la ciudad de Sevilla, distribuyendo sus terrenos entre los caballeros que participaron en la campaña. Al infante Don Fadrique, hijo de Fernando III y hermano de Alfonso X el Sabio, le corresponde un solar al oeste de Sevilla, cerca del río Guadalquivir. Allí don Fadrique manda levantar una torre defensiva, que debía formar parte de un palacio. Cuenta la leyenda que don Fadrique tuvo amores con la viuda de su padre, doña Juana de Pouthieu, lo que causa un escándalo tal que promueve la muerte del Infante y el exilio de doña Juana. Lo cierto es que el palacio nunca se levanta y la torre, la Torre de Don Fadrique, queda en medio de un terreno baldío. Tiene la Torre de Don Fadrique tres pisos, rematados por una cornisa resaltada y almenada. El primer piso es de piedra y los otros dos de ladrillo. En la parte superior se abre, en cada uno de las caras, una ventana ojival de estilo gótico.