Много времени потребовали и финансовые труды Сперанского. При предварительном обозрении финансового положения на 1810 г., открылся дефицит в 105 млн. рублей, и Сперанскому было поручено составить определительный и твердый план финансов. Профессор Балугьянский написал обширную записку на французском языке, которую Сперанский переделал и дополнил. Она подверглась совместному обсуждению при участии Северина Потоцкого, Н.С. Мордвинова, Кочубея, Кампенгаузена и Балугьянского, а затем в особом комитете, собиравшемся у министра финансов Гурьева. Изготовленный таким образом план финансов был вручен государем председателю государственного совета в самый день его открытия, 1 января 1810 г. По этому плану государственные расходы были сокращены на 20 млн. рублей, подати и налоги увеличены, все находящиеся в обращении ассигнации признаны государственным долгом, обеспеченным всем государственным имуществом, а новый выпуск ассигнации предположено было прекратить. Капитал для погашения ассигнаций предположено было составить посредством продажи ненаселенных государственных земель и внутреннего займа. Этот финансовый план был одобрен, и образована была комиссия погашения государственных долгов. Но расходы 1810 г. значительно превысили предположение, и потому налоги, установленные лишь на один год, были обращены в постоянные. На 1812 г. опять грозил большой дефицит. Манифестом 11 февраля 1812 г. установлены были временные прибавки в податях и новые пошлины. Ответственным за все эти финансовые затруднения и повышения налогов, вызываемые тяжелыми политическими обстоятельствами того времени, общественное мнение делало Сперанского. Обещания прекратить выпуск ассигнаций правительство сдержать не могло. Новый тариф, 1810 г., в составлении которого участвовал Сперанский, был встречен в России сочувственно, но разгневал Наполеона, как явное уклонение от континентальной системы.
Дела финляндские поручены были также Сперанскому, который только при его удивительном трудолюбии и талантливости мог справляться со всеми возложенными на него обязанностями. Сперанский сопровождал императора Александра на сейм в Борго, им были написаны речи государя при открытии и закрытии сейма, им была составлена окончательная редакция проекта об устройстве финляндского совета (переименованного впоследствии в Сенат), он же был назначен канцлером Абосского университета, наконец, он был поставлен во главе комиссии финляндских дел в Петербурге, пока, с преобразованием комиссии, председателем ее не был назначен барон Армфельт, уроженец Финляндии, перешедший недавно из Швеции на русскую службу и рекомендованный на это место Сперанским.
1812 г. был роковым в жизни Сперанского. Направленная против либеральных преобразований записка Карамзина (1811) и разные нашептывания врагов Сперанского произвели впечатление на Александра I. Постепенно охладевая к Сперанскому, государь стал тяготиться его влиянием и, приступая к борьбе с Наполеоном, решил с ним расстаться. Сперанский внезапно был отправлен в ссылку, подавшую повод к распространению клеветы об его измене посредством сношений с иностранными посланниками. Главными орудиями в интриге, погубившей Сперанского, были барон Армфельт, пользовавшийся большим расположением императора Александра, и министр полиции Балашов. Армфельт был недоволен отношением Сперанского к Финляндии: по его словам, он "иногда хочет возвысить нас (финляндцев), но в других случаях, наоборот, желает дать нам знать о нашей зависимости. С другой стороны, он всегда смотрел на дела Финляндии, как на мелкое, второстепенное дело". Армфелът сделал предложение Сперанскому, составив триумвират вместе с Балашовым, захватить в свои руки правление государством, а когда Сперанский отказался и, по отвращению к доносам, не довел об этом предложении до сведения государя, то решился погубить его. Очевидно, Армфельт желал, удалив Сперанского, стать во главе не одних финляндских дел в России. Сперанский иногда, быть может, был недостаточно воздержан в своих отзывах о государе, но некоторые из этих отзывов в частной беседе, доведенные до сведения государя, были, очевидно, выдумкой клеветников и доносчиков. В подметных письмах Сперанского стали обвинять уже в явной измене, в сношениях с агентами Наполеона, в продаже государственных тайн. "Все орудия этой колоссальной интриги, не посвященные в тайну конечной ее цели, - говорит Н.К. Шильдер, - действовали, как марионетки, нити которых были в руках лица, направлявшего весь ход этой загадочной драмы. Руководствуясь самыми разнообразными побуждениями, все привлеченные к делу лица усердно хлопотали о том, что уже давно было решено в уме Александра и чего они не знали, не сразу проникнув до понимания истинной подкладки интриги". 17 марта 1812 г., после 2 часовой аудиенции у государя, который, между прочим, сказал Сперанскому, что, ввиду приближения неприятеля к пределам империи, не имеет возможности проверить все взведенные на него обвинения, Сперанский был отправлен в Нижний Новгород. В письме оттуда государю он высказал свое глубокое убеждение, что составленный им план государственного преобразования - "первый и единственный источник всего, что случилось" с ним, и вместе с тем выражал надежду, что рано или поздно государь возвратится "к тем же основным идеям". Громадное большинство общества встретило падение Сперанского с великим ликованием, и только Н.С. Мордвинов открыто протестовал против его ссылки выходом в отставку от должности председателя департамента экономии государственного совета и уехал в деревню. По удалении Сперанского начала циркулировать записка на французском языке, автор которой утверждал, что Сперанский имел в виду своими нововведениями привести государство к разложению и полному перевороту, изображал его злодеем и предателем отечества и сравнивал с Кромвелем. Записка эта была составлена лифляндцем Розенкампфом, служившим в комиссии законов и ненавидевшим Сперанского за то, что тот затмил его своими талантами, и исправлена была Армфельтом. В сентябре того же года, вследствие доноса о том, что в разговоре с архиереем Сперанский упомянул о пощаде, оказанной Наполеоном духовенству в Германии, Сперанский был отправлен в Пермь, откуда написал государю свое знаменитое оправдательное письмо. Он весьма убедительно опроверг в нем переданное ему Александром при прощании обвинение, будто бы он старался финансовыми мерами расстроить государство и вызвать увеличением налогов ненависть к правительству, и называл клеветой утверждение, что, порицая правительство, он разумел особу самого государя. Просьба Сперанского о дозволении ему поселиться в его новгородском имении была оставлена без ответа и исполнена лишь в 1814 г., после вступления наших войск в Париж и нового письма Сперанского к государю. Вероятно, по переезде в деревню Сперанский набросал новые предположения о государственных преобразованиях. Ссылка имела то влияние на политические взгляды Сперанского, что вместо отвращения к преобладанию аристократии, которое он положительно высказывал в своем труде 1809 г., он стал искать гарантии политической свободы в усилении аристократии. По этому новому взгляду Сперанского правительство, опирающееся на основные законы, может быть или ограниченной монархией, или умеренной аристократией. В ограниченной монархии необходимо, чтобы высший класс наблюдал за охранением закона. Народ должен участвовать в составлении, если не всех, то, по крайней мере, некоторых законов; охранение законов он вверяет аристократии. Образцом для устройства этого класса он считал теперь английскую аристократию и прямо утверждал, что в основании его должно быть положено право первородства. При собрании национального конгресса, первые четыре класса чинов составят верхнюю палату, а остальное дворянство должно заседать с депутатами от народа, и одной из первых мер конгресса будет восстановление закона Петра I о первородстве с тем, чтобы этот закон прилагался лишь ко вновь созданной аристократии. Между тем в своем труде 1809 г. Сперанский писал о Петровском законе следующее: "По разуму того времени не было еще точного понятия о политической свободе. Сие доказывается учреждением Петра Великого (1714) о праве первородства. Сие установление, совершенно феодальное, могло бы уклонить Россию на несколько веков от настоящего ее пути".
В 1816 г. Сперанский вновь просил государя обратить внимание на его судьбу и вместе с тем ходатайствовал у Аракчеева о его содействии. Указом 30 августа, в котором было сказано, что "по внимательном и строгом рассмотрении поступков" Сперанского государь "не имел убедительных причин к подозрениям", Сперанский был назначен на должность пензенского губернатора, чтобы дать ему способ "усердной службой очистить себя в полной мере". Здесь он не покидает еще мысли о государственных преобразованиях, в одном письме 1818 г. задает вопрос: "кто метет лестницу снизу?" и затем предлагает, очистив административную часть, перейти к свободе политической. Для выработки необходимых реформ Сперанский советует учредить комитет из министра финансов Гурьева, нескольких губернаторов (в том числе и его самого) и 2 - 3 губернских предводителей дворянства. В одной записке, составленной, вероятно, во время пребывания в Пензе, мы видим сочувствие автора конституционному строю, несмотря на неуверенность в возможности введения его в России. В марте 1819 г. Сперанский был назначен сибирским генерал-губернатором, причем государь в собственноручном письме писал, что этим назначением желал явно доказать, насколько несправедливо враги оклеветали Сперанского. Служба в Сибири еще более охладила политические мечтания Сперанского. В заметках, начатых в Пензе в 1819 г. и оконченных в Сибири, он хотя и говорит, что польза "законодательного сословия" "может состоять в том, что правительство, поставив себя сим учреждением впереди народных желаний, станет вне опасности всякого внезапного движения", но в тоже время признает, что "возможность законодательного сословия сильного и просвещенного весьма мало представляет вероятности. Почему - одно из двух: или сословие сие будет простое политическое зрелище, или, по недостатку сведений, примет оно ложное направление".