Les musées de Montbéliard trouvent leurs racines dans le cercle médical, qui en 1843, regroupe les praticiens de l'arrondissement.
C'est dans cette confrérie qu'est née "l'ingénieuse et utile pensée d'instituer un musée scientifique dans la ville de Georges Cuvier".
En octobre 1850, le premier objet entre dans les collections de la Société d’Émulation de Montbéliard.
En 1917 le legs de l'hôtel Beurnier-Rossel, va permettre la création d'un musée historique où sont regroupées en 1933 les collections du vieux Montbéliard alors que l'archéologie et les sciences naturelles seront installées au château à partir de 1937.
En 1960 après une convention passée entre la ville et la Société d'Émulation, la gestion du Musée du Château devient municipale. De nouveaux secteurs vont alors se développer : le patrimoine industriel, l’histoire du château, l'art moderne et l'art contemporain.

Les deux musées seront de nouveaux réunis avec une gestion municipale commune en 1990.