После того как Рерберг принял участия в работах по перестройке старого здания на Чистопрудном бульваре,6, для Правления Московско-Киевско-Воронежской железной дороги, он получил закан на проектирование и строительство грандиозного Брянского вокзала (с 1934 года - Киевский) на месте существовавшего деревянного.
При разработке проекта осуществленного при участии архитектора В.К. Олтаржевского, были использованы достижения мирового архитектурного опыта и практике применения большепролетных арочных покрытий над платформами. Основа творческих поисков определила положение вокзала вблизи Москвы-реки и оживленный радиальной городской магистрали, проходящей через Бородинский мост. Мост, построенный за год до рождения И.И. Рерберга по проекту его отца (совместно с инженером И.Ф. Кенигом), 1912-1913 годах, перед постройкой вокзала был заменен современным (архитектор Р.И. Клеин, инженер Н.И. Осколков).
Творческий процесс формирования облика вокзала был подобен обработке архитектурных форм комплекса Северного страхового общества. Неоднократно дорабатывался главный фасад с колоннадой на уровне высокого второго яруса, приобрели большое изящество фланкирующие его порталы - крыльца, башня высотой 51 метр была вынесена за пределы фасада, а его первоначальное архитектурные переработаны.
Наружный контур всего здания достигает почти 900 метров. Залы ожидания просторны и имеют большую высоту, площадь самого большого из них - центрального более 900 м2. Позади залов ожидания было четыре подъездных пути под стеклянным ангароподобным покрытием- дебаркадером. В качестве конструктивной основы этого покрытия шириной 47 метров, длиной 231 метр и высотой 30 метров Рерберг предусмотрел арки из крупных ажурных металлических элементов, попарно соединенных в верхней части. Их конструирование, изготовление и установку взяла на себя специализированная фирма Бари, главный инженер которой, выдающийся конструктор- механик В.Г. Шухов, не меняя принципиально конструкцию, рационализировал ее, что упростило изготовление и сократило стоимость. Шухова признают не только исполнителем, но и автор этого уникального покрытия.
Летом 1914 года состоялась церемония закладки здания. В выполнение декоративно-отделочных работ приняли участие скульпторы С.С. Алешин (скульптуры "Труд" и "Урожай" на главном фасаде и др.), Ф.И. Рерберг (участие в росписи плафонов) и другие мастера. Основные работы были завершены в 1917 году.
В 1920 году И.И. Рерберг провел дополнительные работы на Киевском вокзале, главным образом отделочные. Иван Иванович намечал создание большой площади, связывающей вокзал с городом. Современную площадь Киевского вокзала можно рассматривать как воплощение замыслов И.И. Рерберга.
Не безынтересно дальнейшая судьба этого крупного вокзального здания. В 1940 - 1945 годах к нему был пристроен в конце северного фланга корпус с кассовым залом и вестибюлем метро (по проекты Д.Н. Чечулина), а затем в самом здание проведены большие работы, насытившие интерьеры рядом новых деталей, однако не отвечающих рербергскому направлению. Реставрация 1979-1981 года была направлена обновление сложившейся отделки и архитектурных деталей. Одновременно были проведены ремонт и реконструкция металлического покрытия над перронами, несколько изменены конструкции и внешний вид кровли: ступенчатыми рядами уложено более 2800 щитов в виде металлических рамок и специального стекла повышенной стойкости, в том числе цветного.
В начале 1920-х годов Моссовет передал Киевскому вокзалу стоящие вблизи четырехэтажное жилое здание, построенное в 1882 году Иван Иванович перестроил его под железнодорожный привокзальный клуб, вскоре преобразованный в клуб имени А.И. Горбунова.
В годы гражданской войны строительная деятельность в Москве была весьма ограниченной, а первые организационные шаги носили специфический характер. Так, ведавший устройством противоэпидемических санпропускников на железных дорогах Комитет пропускных санитарных сооружениях был реорганизован в Особый комитет по строительству города Москвы (Оском). И.И. Рерберг начальник технического отдела этого комитета сочетал здесь организационно-техническую деятельность и проектной. Одной из работ Рерберга в этот период была частичная переработка проекта и завершения законсервированного 1915 года строительства пятиэтажного жилого дома, Хлебопродукта на Новинском бульваре (здание не сохранилось). Одновременно он построил деревянный павильон Хлебопродукта на Всероссийской сельскохозяйственной и кустарно-промышленной выставки 1923 года.
Более крупным заказом было проектирование и руководство надстройкой двумя этажами большого трехэтажного конторского здания Варваринского акционерного общества на Мясницкой улице, возведенного в 1890-х годах, а также проектирование и строительство новых корпусов во дворе. Здесь разместился созданный после гражданской войны Нефтяной синдикат СССР. В облике надстроенных этажей видны характерные черты творческого почерка Рерберга: при скупом пользование простых архитектурных деталей и отдельных лепных украшений достигнута необходимая увязка новой части фасада со старой, в равной степени отвечающей деловому назначению здания. Таким образом, И.И. Рерберг выполнял один из первых заказов столице по строительству жилых, административных и общественных зданий.
Учитывая присущее И.И. Рербергу бережное отношение к существующим произведениям зодчества, его пригласили выполнять обязанности архитектора три крупнейших столичных театра - Большой, Малый и Художественный. По свидетельству А.В. Щусева, он "много сделал работ для этих театров".
Первые из этих работ относились к Московскому Художественному театру, который благодаря энергии К.С. Станиславского в 20-е годах создавал свои филиалы, студии и другие "ответвления". Сохранился макет интерьеров одного из относившихся к театру зданий с эмблемой - с изображением чайки в узоре паркетного пола, выполненный по чертежам Рерберга в 1921 году.
Особое значение имеет участие И.И. Рерберга Большого театра. В результате сильной осадки фундаментов тяжелонагруженных внутренних стен здания пришло в аварийное состояние. 1921-1923 годах Иван Иванович руководил сложными и очень ответственными работами по устройству новых фундаментов, в то время как театр продолжал функционировать. Помимо перестройки фундаментов, Рерберг переделал наиболее деформировавшиеся перекрытия и перекосившееся ложи ярусов.
Через три года Иван Иванович сделал проект перепланировки фойе, репетиционных залов и некоторых артистических помещений, а также переустройство лестниц возле гардеробов. Проект был основан на глубоком изучении истории здания, результаты которого Рерберг опубликовал. Осуществление этого проекта велось под его постоянным руководство до 1932 года.
В 1925 году было составлено задание на проектирования здания Центрального телеграфа, включающего радио узел и междугороднюю телефонную станцию. Провели открытый конкурс, в котором участвовали многие известные архитекторы, а затем персонально было заказано еще два проекта, один из них И.И. Рербергу. Выполненный проект хорошо соответствовал всему комплексу функциональных заданий, а также требованием монументальности архитектурного решения. Несмотря на возражения представители нового творческого направления в архитектуре, этот проект был утвержден Моссовета в начале марта 1926 года, а 22 мая была совершена церемония закладки здания.
Проект здания Центрального телеграфа был разработан с большой тщательностью. Применением монолитного железобетонного каркаса и вынос всех четырех лестниц за пределы основного здания позволили устроить на разных этажах очень просторный помещения, общая площадь которых составила 40 тысяч м2 . Срезанные углы главного фасада обусловлены градостроительными возможностями. Благодаря одному из таких срезов здания хорошо "смотрелось" с тогда еще не реконструированной, узкой Тверской улицы. Срезая острый угол для устройства главного входа, Рерберг выполнил эту часть здания в виде широкой пятигранной башни, возвышающейся на десять метров над остальными фасадами. Башня оборудована вращающимся стеклянным глобусом. На приподнятой над тротуаром площадки перед входом два обелиска из серого гранита, несущие ажурную чугунную консольную раму в виде переплетения дубовых веток для подвески фонарей. В подобной манере выполнены решетки верхнего обрамления башни.
Для отделки фасадов использованы серый украинский гранит и декоративная штукатурка с включением крошки этого гранита. Автору проекта удалось удовлетворить требования задания: "Выявить при обработке фасадов не только производственной и общественный характер здания телеграфа и радио узла, но и придать ему монументальность, соответствующую городу Москве".
Строительство Центрального телеграфа было завершено в 1927 году. Оно ознаменовало начало реконструкции главной столичной магистрали, которая на этом участке были расширены улицы Белинского и Огарева - тоже 6,5 метра. После того кат Тверская улица подверглась реконструкции, значение Центрального телеграфа еще больше возросло.
К сожалению, полного списка проекта Рерберга нет, а о судьбе отдельных его работ, упоминание которых удалось найти, можно судить лишь с некоторой степени достоверности. Например, проект здания бывшей Торговой академии, очевидно, потому не был реализован, что для размещения этой организации 1920-х годов.
Из других проектов Рерберга можно назвать химическую лабораторию МГУ, дом Института локомотивостроения.
В разное время И.И. Рерберг проектировал также для других городов. По его проектам построены здания в Петербурге, Тюмени, в районе города Истры. В годы первой мировой войны, как военному инженеру, ему пришлось строить оборонительные укрепления. На выставке, приуроченной в 1-му Всесоэзному съезду по гражданскому и инженерному строительству (1926 год), демонстрировался его проект вокзала для Сочи.