Als Gründungsdatum des Museums wird der 15. Mai des Jahres 1878 angegeben. An diesem Tag besprach der Rat der Akademie für Kunst und Design auf einer seiner ersten Sitzungen erstmals die Notwendigkeit einer Kunstsammlung.
Die Sammlung enstand aus Schenkungen von Privatpersonen, die mit der Akademie oder ihren Organisatoren in Verbindung standen. Unter ihnen waren Sammler, Industrielle, Diplomaten, Vertreter der russischen Aristokratie wie z. B. Fürst N. Trubezkoj, Graf A. Bobrinski, die Diplomaten E. Bjutzow, A. Wlangali, der Maler und Sammler M. Botkin, der Maler W. Swertschkow und der Industrielle I. Gromow.
Die Schenkungen waren sowohl Einzelstücke als auch ganze Kollektionen. So erhielt das Museum z. B. Ende 1879 – Anfang 1880 von dem berühmten Archäologen Heinrich Schliemann eine Sammlung von antiken Gegenständen, die für den täglichen Gebrauch und für religiöse Zwecke verwendet worden waren.
Der Finanzier und Menschenfreund Alexander von Stieglitz leitete von 1860 bis 1866 als erster die Staatsbank des Russischen Imperiums.
Seinen Schwiegersohn, den Staatsmann, Historiker und Mäzen Alexander Polowzow, lernte Heinrich Schliemann auf seiner Auslandsreise im Mai 1879 auf einem Schiff in der Nähe der Dardanellen kennen. Kurz vor seinem Tod im Jahre 1884 machte Stieglitz sein Testament, in dem er der Akademie 9.690.642 Rubel und 32 Kopeken stiftete, was zu der Zeit eine gewaltige Summe darstellte.
Die Stiftung verhalf der Schule, sich zu einer unabhängigen Bildungseinrichtung in Russland zuentwickeln. Außerdem konnten die Sammlungen des Museums mit diesen Mitteln entscheidend erweitert werden.
Der Bau des Museumsgebäudes begann im Sommer 1885 unter der Leitung des ersten Direktors Maximilian Mesmacher und konnte erst nach elf Jahren beendet werden.
Während dieser Zeit wurden für die geräumigen Säle des neuen Museums die kostbarsten Gegenstände aus dem Bereich der angewandten Kunst erworben. Darunter befanden sich Erzeugnisse aus den Materialien Porzellan, Glas, Bronze, Gold und Silber sowie Möbelstücke, Stoffe und auch wunderschöne Gobelins.