1 января 1810 года Александр своим Манифестом учредил Государственный совет. М. М. Сперанский получил в этом органе должность государственного секретаря. В его ведении оказалась вся проходившая через Государственный совет документация: он готовил бумаги к заседаниям, составлял доклады и отчеты для представления императору. Выступавшая внешне обыкновенной канцелярской должностью функция государственного секретаря на практике приобретала исключительную важность. В течение трех лет — с 1809-го по 1811 год — Сперанский являлся самым влиятельным среди русских сановников лицом, фактически вторым после императора человеком в Российской империи.
Должность государственного секретаря давала Михаилу Михайловичу возможность быть в курсе всех важнейших событий, происходящих как в России, так и за ее границами. Решение большинства опросов было напрямую связано с тем, как быстро и с какими комментариями и рекомендациями государственный секретарь доложит их содержание императору. Это очень хорошо понимали в окружении Александра I. Отношение к Сперанскому в высших кругах столичной знати было сложным. С одной стороны, для устройства различных дел к нему вынуждены были обращаться с просьбами даже высоко титулованные особы. С другой стороны, они не могли забыть о происхождении Сперанского и зачастую в своем окружении называли его "поповичем". Особое раздражение у знати вызывали случаи отказа выполнить ту или иную просьбу, даже по причине ее незаконности. Оценивая положение М. М. Сперанского в государственном аппарате первой четверти XIX века, историк С. М. Середонин писал: "Сперанский был совершенно исключительным явлением в нашей администрации..."24.
К середине 1811 года Сперанский почувствовал, что светское общество начало против него войну. Оскорбления, насмешки в его адрес делались явлением обычным. В окружении Александра I сложился круг людей, которые по той или иной причине были враждебно настроены к Сперанскому. В ход пошли излюбленные средства интриганов — сплетни, подметные письма, обвинения во взяточничестве (а кто в России не брал взяток?) и даже в государственной измене. В последнем случае Михаилу Михайловичу припомнили Эрфурт и его встречи с Наполеоном. Это обвинение в условиях обострившихся российско-французских отношений, было особенно тяжелым.
Некоторое время император открыто не реагировал на то, что ему говорили о Сперанском. Более того, в день своего 40-летия Сперанский был удостоен очередной награды — ордена Александра Невского. Однако ритуал вручения награды прошел непривычно строго официально, и для двора стало ясно, что "звезда" реформатора начинает тускнеть. Но мало кто мог предвидеть, что падение произойдет так скоро.
Почувствовав холодность Александра I в отношении своего государственного секретаря, недоброжелатели Сперанского активизировались. Среди них были лица, занимавшие высокие должности при дворе. Особенно выделялись шведский барон Густав Армфельд, председатель комитета по делам Финляндии и А. Д. Балашов, руководитель Министерства полиции. Оба имели право непосредственных докладов императору и, к слову, получили назначения по представлению Сперанского. Они передавали Александру все сплетни о государственном секретаре. Да и сам, Михаил Михайлович порой не стеснялся в выражениях в адрес Александра I за его непоследовательность в государственных делах. Все это в совокупности вызывало раздражение императора, который, по словам историка Н. К. Шильдера, в частных разговорах обещал Сперанского расстрелять25 .
В воскресенье, 17 марта 1812 года фельдъегерь от императора, не застав хозяина дома, разыскал его в гостях. Михаилу Михайловичу было вручено предписание прибыть к 8-ми часам вечера в Зимний дворец. Там и состоялась беседа между императором и государственным секретарем, о содержании которой историки могут строить только догадки, а в доме Сперанского с предписанием покинуть столицу его уже ждал Министр полиции Балашов. Почтовая кибитка с полицейским чином стояла у ворот. Михаил Михайлович молча выслушал повеление императора, лишь взглянул на двери комнаты, где спала его двенадцатилетняя дочка, собрал часть имевшихся дома деловых бумаг для Александра I и, написав прощальную записку дочери и теще, вышел из дома. Он не мог предполагать, что ему суждено возвратиться в столицу только через 9 лет, в марте 1821 года.
Отправляясь в ссылку, Сперанский не знал, какой приговор вынесен ему в Зимнем дворце. Это обстоятельство усложнило и отношение к нему местных чиновников в Нижнем Новгороде, а затем и в Перми, где он находился в ссылке в 1812—1814 годах. Различного рода сплетни и домыслы из столицы быстро достигали ушей жителей провинции. Не осталось незамеченным и обвинение Сперанского предателем, тем более в годы патриотического подъема, вызванного нашествием французов. Пермский губернатор даже установил осенью 1812 года у дома ссыльного двух караульных. М. М. Сперанский неоднократно обращался к императору и Министру полиции с просьбой разъяснить его положение и оградить от оскорблений. Эти обращения возымели последствия: распоряжением Александра повелевалось выплатить Сперанскому по 6 тысяч рублей в год с момента высылки. Данный документ начинался словами: "Прибывающему в Перми тайному советнику Сперанскому..." Можно лишь предполагать о душевном состоянии пермского губернатора, получившего это распоряжение, за сотни верст равного по чину Михаилу Михайловичу в округе не было. Кроме того, это распоряжение было свидетельством, что император Сперанского не забывает и ценит. Подтверждение не заставило себя долго ждать, и I октября 1816 года М. М. Сперанский был возвращен на государственную службу в должности пензенского губернатора.
По прибытию на место новой службы Михаил Михайлович не встретил "горячей" поддержки со стороны местного чиновничества. По словам М. А, Корфа, "...местные чиновники и до него, и при нем были жалкими, большей частью — начиная с собственных губернаторов — совершенно безграмотные. Подьячих, правда, он держал в страхе, но этим все ограничивалось... Секретарь губернаторского правления, страдал запоем, а секретарь общественного призрения был страстным картежником и не умел составить ни одной бумаги..., заменить их было некем, и оттого губернатор все, сколько-нибудь важное, должен был писать сам"26
Сперанский не успел проявить себя в этой должности, т. к. в марте 1819 года получил новое назначение на должность генерал-губернатора Сибири. Чувствовалось, что Сперанский был нужен Александру I, возможно, последний испытывал сожаление, что отдалил его от себя. Косвенным подтверждением этого явился отзыв Михаила Михайловича из Сибири в марте 1820 года.
О деятельности Сперанского в Сибири его биограф М. А. Корф писал: "Если вспомнить, что Сперанский провел в Сибири менее двух лет; что ему в это время надлежало и управлять, и производить ревизию, и собирать материалы к преобразованиям, и писать новые учреждения; что тогда Сибирь была, — по его мнению и по общему отзыву, — настоящим дном злоупотреблений; и что по одной Иркутской губернии следственные дела разрослись до множества томов; если, наконец, принять в соображение сколько времени сенаторы, назначавшиеся туда после него, употребляли на одну ревизию, при готовых уже данных, то нельзя, конечно, не изумляться массе того, что он успел там совершить"27.
Летом 1822 года Александр I утвердил проект "Учреждения для управления Сибирских губерний", разработанный Сперанским за время губернаторства в Сибири. Это был его последний труд, связанный с реформаторской деятельностью.
В ноябре 1825 года скончался Александр I. Его преемник, император Николай I, то ли не смог, то ли не захотел использовать опыт и талант М. М. Сперанского. Ему было поручено возглавить 2-е отделение Собственной Его Императорского Величества канцелярии, осуществлявшей кодификацию законов. Под руководством Михаила Михайловича были составлены Полное собрание законов Российской империи в 45 томах и свод законов в Российской империи в 15 томах. В 1835—1837 годах М. М. Сперанский был приглашен к императорскому двору, где он преподавал юридические науки наследнику престола — будущему императору Александру II.
1 января 1839 года, в день его 56-летия, высочайшим повелением М. М. Сперанскому было пожаловано графское достоинство, но прожить Михаилу Михайловичу с графским титулом суждено было всего 41 день. 11 февраля 1839 года он умер от простуды.