Conçu par Georges David Rossel et Anne Madeleine Beurnier, de 1772 à 1774, cet hôtel est resté dans la famille jusqu'en 1917, date à laquelle le dernier descendant l'a légué à la ville pour en faire un musée historique.
Les plans ont été dressés par Philippe de la Guêpière en 1772 lors de son séjour à Montbéliard.
Cet architecte français qui a fait carrière dans le Wurtemberg a réalisé entre autres vers 1762 les châteaux de Solitude à Stuttgart et de Monrepos à Ludwigsburg.
La composition d'ensemble de ce bâtiment est très nouvelle à Montbéliard avec un corps de logis principal suivi à l'arrière d'une cour entourée de bâtiments de services dont une aile curviligne.
Le premier étage accueille la reconstitution des salons de bourgeois, proches de la cour des ducs de Wurtemberg, avec des portraits de la famille et des notables, des meubles du célèbre ébéniste Abraham Nicolas Couleru, des chaises, fauteuils et canapé Louis XV et Louis XVI, un piano forte de 1790 et la bibliothèque complète d'un érudit de la fin du siècle des lumières.
Le grand salon, classé "monument historique", présente un superbe poêle en faïence et des boiseries peintes de décors en grisaille.
