El Seminario es el edificio de mayor tamaño de la ciudad que posee, además, la peculiaridad de ser el tercero en construírse en toda España.Desde su creación en 1583, por iniciativa del Regimiento de la ciudad para crear un colegio como los acordados en Trento, tuvo distintos enclaves.
En un principio el Seminario estaba ubicado en dos casas de la actual calle Afonso VII. Pero este edificio se hizo pequeño, y en el siglo XIII se comienza a contruír el edificio en su situación actual. La obras de contrucción durarán cinco años a partir de 1770.
Durante el pontificado de Cos y Macho tiene lugar una ampliación del Seminario, en la que se le añadió un piso. En los tiempos del Obispo Solís se volvió a reformar añadiendo un pabellón, el cual fue destruído a mediados del siglo XX, época en la que se le da al Seminario el aspecto actual.La fachada del edificio, de pizarra oscura del país, está enmarcada por dos pequeñas torre que se levantan en los extremos. En el centro de la fachada aparece un frontón con la imagen de Santa Catalina.
La biblioteca del Seminario, que comenzó con 245 obras, contiene actualmente más de 25000 volúmenes. Entre ellos hay que destacar un centenar de incunables y un manuscrito de finales del siglo XIII.