Das 1680 bis 1682 erbaute Sommerschloss der Würzburger Fürstbischöfe wurde 1753 durch Balthasar Neumann vergrößert. 1806 bis 1814 war das Schloss in den Sommermonaten von Großherzog Ferdinand von Toskana bewohnt, der in dieser Zeit in Würzburg residierte.
Seit 1814 ist das Schloss im Besitz der Bayerischen Krone und wurde im 19. Jahrhundert von der königlichen Familie ebenfalls als Sommerschloss genutzt. Erst durch die Restaurierung von 1931/32 wurden alle Räume des Obergeschosses wieder als historische Schauräume ausgestattet und das Schloss der Öffentlichkeit als Museum zugänglich.

Als Rahmung des "Sommer- und Lusthauses", des heutigen Schlosses Veitshöchheim, entstand ab 1702 ein Blumengarten, der ungefähr quadratisch abgesteckt war. In den 50er und 60er Jahren des 20. Jahrhunderts setzte eine Restaurierung des Gartens auf den Rokoko- Zustand von 1779 ein. Dieser Garten dürfte der in inhaltlichen und auch praktisch nachvollziehbaren Bedeutungszusammenhängen differenzierteste Garten im deutschsprachigen Raum sein.