Die Sammlung Scharf-Gerstenberg zeigt Entwicklungslinien fantastischer Kunst, begonnen mit Arbeiten Giovanni Battista Piranesis und Francisco de Goyas, die im umfangreichsten Werkkomplex des Hauses gipfeln: im Surrealismus von etwa Max Ernst oder René Magritte.

Die Sammlung ist ebenso wie das gegenüberliegende Museum Berggruen privater Sammelleidenschaft zu verdanken. Beide Ausstellungsorte der Nationalgalerie, der überdies die Häuser Alte Nationalgalerie, Neue Nationalgalerie, Hamburger Bahnhof – Museum für Gegenwart – Berlin und Friedrichswerdersche Kirche angehören, sind in Charlottenburg zu finden.

Die Gebäude des Museums Berggruen und der Sammlung Scharf-Gerstenberg entstanden 1851 bis 1859 im Auftrag Friedrich Wilhelms IV. Ihr Architekt Friedrich August Stüler entwarf später auch die Alte Nationalgalerie. Städtebaulich nehmen die klassizistischen Zwillingsbauten mit ihren Kuppeln Bezug auf das gegenüberliegende Schloß Charlottenburg und bilden den Auftakt zur Schloßstraße. 1855 ließ Friedrich Wilhelm IV. durch Garnisons-Bauinspektor Wilhelm Drewitz auf der östlichen Seite noch einen Marstall, in dem heute ebenfalls die Sammlung Scharf-Gesternberg ausstellt, als eingeschossigen Flügelbau mit einem angebauten quadratischen Wohnhaus errichten, zu dem auch eine Remise gehört.