Das Schloss wurde an der Stelle eines älteren Schlosses ab 1769 unter der Leitung des Prager Architekten Paul Wiedhof möglicherweise nach Entwürfen seines Landsmannes Johann Joseph Wirch errichtet und ist von einer großen Parkanlage umgeben.Die 1799 abgebrochene Assumstadter Kirche befand sich auf dem freien Platz vor dem Schloss.

Bild: P.Schmelzle@wikimedia.org CC BY-SA 2.5

Der Schlossbau war ein Geschenk der österreichischen Kaiserin Maria Theresia an ihren ehemaligen Generalfeldzeugmeister Karl Reinhard von Ellrichshausen, dessen Familie seit 1667 die Ortsherrschaft in Assumstadt hatte. Türen, Öfen, Fenster und Fußböden sind teilweise Kopien aus Schloss Schönbrunn in Wien. Die Kopien wurden in Prag gefertigt. Das Schloss wurde von den Nachfahren Elrichhausens 1937 an Hubert Graf zu Waldburg-Wolfegg verkauft, im Besitz von dessen Familie sich das Anwesen bis heute befindet.