Первый археологический музей Греции был основан в 1829 году на острове Эгина. После того, как в 1833 году столица Греции была перенесена в Афины, было принято решение построить в городе новое здание археологического музея. Строительство по проекту Панагиса Калкоса, Людвига Ланге и Эрнста Циллера началось в 1866 году. Размещение экспонатов началось задолго до окончания работ — в 1874 году, когда было завершено только западное крыло. Строительство, которое окончилось в 1889 году, велось на участке, переданном в дар Элени Тосица, а финансировали его правительство страны, археологическое общество Греции и Николас Вернардакис, экспатриант из России. В 1932 — 1939 годах к зданию было пристроено восточное крыло в два этажа. После начала Второй мировой войны все экспонаты были помещены в хранилища самого музея и банка Греции, а также в природные пещеры. После окончания войны внутреннее пространство музея было перепланировано. В 1999 году по причине землетрясения здание было серьёзно повреждено, после чего музей закрыли на реконструкцию. Открытие состоялось в преддверии Олимпиады в июне 2004 года.