Почтамт был географическим центром Москвы. Во дворе ждали своих пассажиров дилижансы, почтовые кареты, экипажи... В 1860-х годах к старому зданию сделаны пристройки по проектам архитекторов А. К. Кавоса, А. К. Кузнецова, а потом И. П. Залесского. В 1864 году во флигеле проходили вечера Общества любителей художеств под председательством графа
А. С. Уварова, где читали свои произведения А. А. Фет, А. Н. Майков, А. Н. Островский, А. Н. Плещеев, А. Ф. Писемский и другие. Устраивались выставки картин художников, проходили заседания художественных обществ. В связи с открытием железных дорог и изобретением телефона деятельность Московского почтамта изменилась. В начале ноября 1898 года из Москвы в Петербург отправлена по телефону первая газетная корреспонденция, а в конце месяца здесь открыт переговорный телефонный пункт.
26 сентября 1910 года состоялась официальная закладка нового здания Московского почтамта, а 14 мая 1912 года - торжественное открытие построенного корпуса. Он возведен по проекту архитектора О. Р. Мунца и инженера Д. Н. Новикова при участии Л. А. и А. А. Весниных и инженера В. Г. Шухова.