Si le musée existe depuis 1840, c'est le legs Briguiboul de 1894 à la Ville qui détermine sa vocation hispanique. Peintre et collectionneur, ébloui par les grands maîtres espagnols, il acquiert de nombreuses œuvres de qualité dont celles de Goya: L'Autoportrait aux lunettes, le Portrait de Francisco del Mazo, une série des Caprices et L'Assemblée des Philippines.
En 1949, des dépôts prestigieux du Louvre viennent confirmer cette spécialisation : Le Portrait de Philippe IV de Velázquez, La Vierge au chapelet de Murillo.

Depuis, le musée de Castres n'a cessé de s'enrichir et plus particulièrement ces vingt dernières années faisant de ce lieu, unique en son genre, une référence pour apprécier la création en Espagne, de l'Antiquité au XXe siècle.