Zu dem Palais gehörte auch das angrenzende Kanzleihaus mit dem Stall im Erdgeschoss, der Reithalle im 1. Stock und der Bibliothek im 2. Stock. Die Fürstenfamilie verlor jedoch bereits in der Mitte des 19.Jahrhunderts das Interesse an diesem Palais. Zu Beginn des 20. Jahrhunderts wurde es geräumt, verkauft und schliesslich abgerissen. Heute steht anstelle des frühklassizistischen Meisterwerks das sog. Herrengassen-Hochhaus. Im Herrengassenpalais war die Bibliothek in einem 56 Meter langen Saal untergebracht. Bei der Übertragung ins Gartenpalais fügte Gustav Ritter von Neumann die Bibliothek mit raffinierten Adaptionen in die drei Räume des ebenerdigen Herrenappartements ein. Die heute rund 100.000 Bücher wurden nach ästhetischen Gesichtspunkten, nach der Farbe der Einbände geordnet. Diese Bibliothek ist der Rest von der Ausstattung eines der grossartigsten Hauptwerke des frühen österreichischen Klassizismus.

Ein anschauliches Beispiel für die Verherrlichung des Bauherren zeigt Johann Michael Rottmayrs barocke Freskenausstattung der Bibliothek. Sie entstand wie auch die Fresken des Damenappartements, der Sala Terrena und der Treppenhäuser zwischen 1705–1708. Das Opfer des Aeneas ist im ersten Raum, die Übergabe des Goldenen Vliesses an Jason im zweiten zu sehen. Mit diesem mythologischen Thema wird an die Verleihung des Ordens des Goldenen Vliesses an den Bauherrn Johann Adam Andreas im Jahre 1693 erinnert. Im dritten Raum ist die sogenannte Greifenfahrt des Alexander dargestellt.