Впервые Игорь Грабарь приехал в Москву в 1882 году, чтобы учиться в лицее. В это время на Ходынском поле открылась Всероссийская промышленная выставка с большим художественным отделом. Грабарь вспоминал: «Конечно, матушка повела меня туда...» Впервые Игорь увидел картины из собрания Третьякова, особенно понравились ему «Княжна Тараканова» Флавицкого, «Рожь» Шишкина, «Оттепель» Васильева, «Березовая роща» Куинджи.
Готовясь к художественному поприщу, Грабарь не предполагал, что станет известен как искусствовед и организатор музейного дела. Однако в 1900-е годы он увлекся изучением культурного наследия, приступив к созданию первой многотомной «Истории русского искусства». Работая над ней, Игорь Эммануилович целые дни проводил в Третьяковской галерее.
В апреле 1913 года Московская городская дума, которой подчинялась Третьяковская галерея, избрала Грабаря попечителем. Так в возрасте 42 лет он возглавил крупнейший художественный музей Москвы. 1913 год стал для Игоря Эммануиловича особенным, в июле он женился на Валентине Михайловне Мещериной, ставшей на многие годы его помощницей.
Когда Грабарь стал принимать имущество вверенного ему музея, выяснилось, что точное количество произведений неизвестно: инвентарных книг нет. Пришлось ориентироваться на изданный каталог, хотя там под одним номером могла идти целая витрина с множеством рисунков того или иного автора. Вертикально расположенные витрины были закреплены на тумбах.
Перевеска картин вызвала бурную полемику. Общество разделилось на два лагеря: противники реформ обвиняли Грабаря в разрушении экспозиции, устроенной Третьяковым; сторонники перемен указывали на лучший обзор произведений и удобство осмотра, ведь произведения одного художника теперь были собраны вместе. В марте 1916 года Московская городская дума окончательно одобрила новую развеску, поставив точку в споре. Экспозиция стала более свободной, публика могла издалека рассматривать «Боярыню Морозову» Сурикова, для этого был расширен дверной проем. Сам художник отметил, что впервые увидел свое полотно во всей красе.
В процессе обследования и реставрации произведений иногда происходили настоящие открытия. Так, картина «Юный живописец» имела поддельную подпись Антона Лосенко, при реставрации открылась изначальная подпись I. Firsove. Удалось выяснить, что это был русский художник Иван Фирсов, долгое время живший в Париже, но совершенно забытый на родине.
Революционные события 1917 года не обошли стороной и Третьяковскую галерею. Неспокойная обстановка привела к тому, что многие частные коллекции оказались в опасности. Владельцы предпочитали передавать свои сокровища на хранение в Третьяковскую галерею, где в 1918 году была устроена выставка этих произведений, среди которых были «Царевна-лебедь» и «Демон (сидящий)» Врубеля.
В сложных условиях послереволюционных лет, разрухи и голода Грабарь пытался не только сохранить, но и приумножить собрание. В галерее появились работы В.Е. Татлина, Б.Д. Григорьева, П.П. Кончаловского, М.Ф. Ларионова, Н.С. Гончаровой. Из брошенных хозяевами особняков и усадеб привозили картины Ф.С. Рокотова, В.Л. Боровиковского, И.Е. Репина и других.
Много внимания уделял Игорь Эммануилович выставкам, которые стали устраивать в Третьяковской галерее лишь после революции. Первыми открылись выставки Константина Сомова, Михаила Врубеля, Федора Рокотова, Дмитрия Левицкого, Константина Коровина. Грабарь не только следил за отбором произведений, дизайном экспозиционного пространства, но и стремился выпустить научный каталог к каждой выставке. Одной из самых значительных стала выставка к 25-летию со дня смерти П.М. Третьякова, открывшаяся в декабре 1923 года. Здесь были показаны принципы собирательской деятельности основателя музея, продемонстрированы портреты Павла Михайловича и его современников, письма и документы о создании музея.
В это время Грабарь был включен в комитет по устройству выставки русского искусства в Америке. В конце 1923 года он уехал в командировку, продолжая числиться директором Третьяковской галереи. В 1924 году он ушел со своего поста, но до конца жизни принимал участие в жизни музея.
Во время Великой Отечественной войны Грабарь вошел в Комиссию по учету и охране памятников искусства. Он был среди тех, кто первым встретил в 1944 году прибывшие из эвакуации шедевры Третьяковской галереи. Огромным событием было открытие музея для публики 17 мая 1945 года.