Nach einem kurzen Intermezzo nach Gerstmayers altersbedingtem Rücktritt 1970 mit den Direktoren Hans Muhr (1971–1973), der als sogenannter Wasserbildhauer Bekanntheit erlangte, und Robert Schmitt (1973), selbst ein bildender Künstler, aber auch in der Kulturförderung der Stadt Wien tätig, sorgte Erika Nemec als Direktorin von 1973 bis 1980 für Kontinuität zur Ära Gerstmayer. In der konzeptionellen Arbeit unterstützt wurde Nemec, die als gute Verkäuferin „ihrer“ KünstlerInnen geschildert wird, vom bildenden Künstler Walter Csuvala. Unter ihr wuchs die Leihbildsammlung auf knapp 5.000 Bilder an. Da immer mehr renommierte wie junge KünstlerInnen gewonnen werden konnten, gelang es Nemec, in der Kleinen Galerie selbst zunehmend Originalbilder statt Reproduktionen zu zeigen. In ihrer Amtszeit erhielten moderne, auch experimentelle Literatur und Lyrik einen zunehmend prominenten Platz in der Galerie, die Lesungen wurden meist von der Gruppe PODIUM um Marie Therese Kerschbaumer organisiert. In den Kunstheften publizierten AutorInnen wie H.C. Artmann, Marianne Engström, Ernst Kein, Kurt Klinger, Erika Mitterer, Jutta Schutting, Wilhelm Szabo, Ilse Tielsch-Felzmann oder Alois Vogel.

Auch wenn sich unter Nemec ein buntes Bild der Kleinen Galerie ergibt, so setzten ihre beiden stark an den Zielen und Werten der Volksbildung orientierten Nachfolger noch deutlichere kulturpädagogische und moderne Akzente: zuerst Peter Paul Wiplinger (1980–1986), anschließend Philipp Maurer (1986–2005). Wipplinger, selbst mehrfach ausgezeichneter Schriftsteller und künstlerischer Fotograf, baute die Literaturschiene sowohl in der Galerie wie in den Kunstheften weiter aus. Unter ihm wurde die große Zahl an Ausstellungen beibehalten, meist fanden zwei pro Monat statt. Neben renommierten, meist österreichischen Kunstschaffenden bot er auch Hobby- KünstlerInnen ein Forum, ihre Werke einem breiteren Publikum vorzustellen. Während einige BeobachterInnen den Charakter der Kleinen Galerie als Startgalerie würdigten, kritisierten andere, darunter Georg Habarta und Wolfgang Hilger, die seit Gerstmayers Rücktritt fehlenden eindeutigen Schwerpunkte, welche einer künstlerischen Unverbindlichkeit Vorschub zu leisten drohten. Der Zielkonflikt zwischen Volksbildungsauftrag und kommerziellen Sachzwängen zeigte sich ab den 1980er Jahren besonders deutlich.

Den Spagat musste auch Philipp Maurer, bereits seit 1979 Galerie-Mitarbeiter, meistern. In seine Amtszeit fielen zwei für die weitere Entwicklung der Kleinen Galerie wegweisende Entscheidungen: eine fundamentale programmatische Neuausrichtung und der Umzug in den dritten Bezirk. Die inhaltliche Umstellung auf Druckgrafik erfolgte schrittweise bis Mitte der 1990er Jahre und spiegelte sich auch in den unter Maurer sukzessive modernisierten Kunstheften. Der Grund für die Fokussierung auf Druckgrafik, also Plakate, Flugblätter, Chroniken, Exlibris usw., war, dass Maurer in ihr eine eminent politische Kunst sah, die bereits in der Reformation und Gegenreformation propagandistisch eingesetzt worden war. Zudem hielt er sie für Angehörige der ArbeiterInnenbewegung sowohl relevant als auch erschwinglich, weshalb er die sogenannte Druckplatte einführte, exklusiv von der Kleinen Galerie vertriebene Druckgraphiken. Ab 1988, also in der Endphase des Kalten Krieges, richtete Maurer in der Galerie Ausstellungen für zahlreiche südosteuropäische KünstlerInnen, vor allem aus Bulgarien und dem ehemaligen Jugoslawien, aus. Auch mit anderen Ausstellungen, etwa „Ausländische KünstlerInnen in Wien“ oder „Eh nur Tschuschn?“ (1988), sollte ein politisches Signal gesetzt werden, in diesem Fall gegen Antisemitismus und Ausländerfeindlichkeit. Maurer war um enge Kontakte zwischen KünstlerInnen und Publikum interessiert, so führte er 1987 die „Galerie der Begegnung“ ein und organisierte regelmäßig politische Lese- und Musikabende.