Роман о Вадиме пишется уже в Петербурге. В 1831 г., оставив Московский университет, Лермонтов переезжает в столицу и 1832-1834 годы проводит в стенах Школы гвардейских подпрапорщиков и кавалерийских юнкеров.
Малопродуктивные в творческом отношении, эти годы были важны, однако, для внутренней эволюции Лермонтова; уже к 1832 г. «лирическое неистовство» двух предшествующих лет идет на спад и начинается постепенное возвращение к лиро-эпическим формам, но уже на новой основе. Стихи 1832 г. - уже не лирический дневник; объективное начало в них опосредованно, а круг жизненных впечатлений и образных средств шире. «Парус» написан именно в 1832 г., как и «Желанье», «Тростник», «Два великана», где ощущаются симптомы более углубленного освоения народной поэзии. В 1835 - начале 1837 г. Лермонтов общается с петербургскими литераторами. О его окружении в это время известно мало; мы знаем, однако, что в него входили люди, близкие к формирующемуся славянофильскому лагерю (С. А. Раевский, А. А. Краевский). В этом общении у Лермонтова укрепляется уже определившийся интерес к проблемам национальной истории и культуры, а также - к сюжетному характерологическому повествованию на современном материале, первыми опытами которого были его ранние драмы. Незаконченный роман «Княгиня Лиговская» (1836) знаменовал этот этап его эволюции; возникнув, как и «Странный человек», на интимной автобиографической основе, он оказался первой попыткой создания социального характера: фигуры Печорина, молодого столичного офицера из высшего общества, Веры, его бывшей возлюбленной, вышедшей замуж за старого князя Лиговского, - все это первые абрисы будущих персонажей «Героя нашего времени»; поведение их и способ мышления обусловлены средой и обстоятельствами, и они уже предопределяют конфликт между Печориным и бедным дворянином Красинским - как можно думать, центральный драматический узел всего повествования. Соответственно меняется и роль бытовой сферы: если в раннем творчестве Лермонтова герой существовал вне быта и даже был противопоставлен ему как носитель духовного начала миру «существенности», то теперь Лермонтов обращается к социальному бытописанию, прямо предвосхищающему «физиологии» начала 40-х годов; едва ли не впервые в русской литературе он дает описание «петербургских углов» - социальный городской пейзаж, который станет затем органической принадлежностью натуральной школы. Наконец, в «Княгине Лиговской» обрисовывается и образ автора-повествователя, с прихотливой, изменчивой системой эмоциональных оценок, с автобиографическими отступлениями, философскими медитациями, иронией, которая теперь становится излюбленным способом повествования у Лермонтова: ею окрашены стихи 1833-1835 гг. и ряд поэм на современные темы: «Сашка» (1835-1836), «Тамбовская казначейша» (1836-1838).
В «Маскараде», который пишется одновременно к «Княгиней Лиговской» (1836), сдвиги в художественном сознании обозначаются еще более резко. «Маскарад» был первым произведением, которое Лермонтов считал достойным обнародования и стремился увидеть его на сцене; однако драма была запрещена по причине «слишком резких страстей» и отсутствия моралистической идеи «торжества добродетели». В жанровом отношении «Маскарад» близок к мелодраме и романтической драме (в частности, французской) 30-х годов; в сатирическом изображении общества Лермонтов во многом следует за Грибоедовым. Мотивы «игры» и «маскарада», организующие драму, - социальные символы высокого уровня обобщения. Однако наиболее значительное достижение Лермонтова - характер Арбенина, заключающий в себе глубокий и неразрешимый внутренний конфликт: отделивший себя от общества и презирающий его, герой «Маскарада» оказывается органическим его порождением, и его преступление с фатальной предопределенностью утрачивает черты «высокого зла» в трагическом смысле и низводится до степени простого убийства. Шкала этических и эстетических ценностей, существовавшая в байронической поэме и в ранних поэмах Лермонтова, парадоксально переворачивается: с утратой Нины для героя не наступает смерть, несущая функцию катарсиса, но продолжается жизнь, причем в состоянии сумасшествия, а не высокого романтического безумия. Поведение героя-протагониста оказывается соотнесенным с судьбой окружающих его людей, которая становится мерой его моральной правомочности. Это был кризис романтического индивидуализма, следы которого обнаруживаются в ряде произведений Лермонтова 1836-1837 гг.
В эти годы меняется концепция и жанровая структура лермонтовской поэмы - и переходным явлением оказывается «Боярин Орша» (1835-1836). «Орша» еще связан с байронической традицией, конкретнее - с «Гяуром» и «Паризиной», и вместе с тем это первая из оригинальных и зрелых поэм Лермонтова. Прежде всего в ней ясно ощущается древнерусский колорит - не только в бытовой и этнографической определенности, но и в самой психологии Орши. Лермонтов пытается создать исторический характер. Орша - боярин времени Ивана Грозного, сумрачный феодал, живущий законами традиции и боярской чести. Нарушение их он рассматривает как преступление и вершит суд над собственной дочерью, уличенной в прелюбодеянии. Для него невозможны исповедь, лирический монолог; он подан в эпических, а не лирических красках. Напротив, Арсений - прямой наследник героев юношеских поэм (ср. «Литвинка»). В поэме разрушилось единодержавие героя: протагонист и антагонист не уступают друг другу ни по силе характера, ни по силе страдания, но если на стороне Арсения правда индивидуального чувства, то за Оршей - правда обычая, традиции, общественного закона. То, что Орша выдвигается на передний план повествования, свидетельствует о переоценке самих концептуальных основ байронической поэмы. Этот процесс завершается в «Песне про царя Ивана Васильевича, молодого опричника и удалого купца Калашникова» (1837), где герои «Орши» как бы поменялись местами: «невольник чести» XVI в., носитель традиции и незыблемых нравственных устоев, воплощающий в себе национальный и исторический колорит, характер, - Калашников - здесь окончательно выдвигается на первое место. Его противник Кирибеевич, с его культом индивидуальной храбрости, удали и страсти, - прямое продолжение Арсения, но он побежден и дискредитирован. В «Песне» действует критерий народной этики, и он-то меняет ценностные характеристики, оправдывая Калашникова и его самовольный суд над героем-индивидуалистом. Своего рода аналогом «Песни» в лирике Лермонтова было «Бородино» (1837) - «микроэпос» о народной войне 1812 г., где героем и рассказчиком одновременно представал безымянный солдат, носитель «народного», внеличного начала. Само действие, хотя и исторически локализованное, рисовалось в эпической манере и развивалось, по существу, в эпическом времени. Облик рассказчика предопределил сказовую форму повествования и ту систему ценностей, которая обозначалась в стихотворении: героическое время подъема народного самосознания противопоставлялось измельчавшему настоящему: «Да, были люди в наше время!.. Богатыри - не вы!» Концепции «Бородина» и «Песни» во многом соотносились друг с другом: в «Песне» также существуют и эпическое время, и эпические характеры, и народный сказ, ориентированный на былину, историческую песню и фольклорную балладу.
«Песня» и «Бородино» были первыми значительными печатными выступлениями Лермонтова, сразу же привлекшими к себе внимание; литературная же известность его началась ранее, в феврале 1837 г., когда в Петербурге стало распространяться его стихотворение «Смерть Поэта», воспринятое как голос нового поэтического поколения, наследующего Пушкину. В стихотворении содержалась концепция жизни и гибели Пушкина, во многом опиравшаяся на пушкинские статьи и стихи, частью ненапечатанные, как «Моя родословная». Заклеймив Дантеса как заезжего авантюриста, Лермонтов перенес затем тяжесть вины на общество, уже описанное им в «Маскараде», и на его правящую верхушку - «новую аристократию», не имевшую за собой национальной и культурной традиции («надменные потомки // Известной подлостью прославленных отцов»). Заключительные шестнадцать строк стихотворения были истолкованы при дворе почти как призыв к революции. Ближайшие друзья Пушкина приветствовали стихотворение как литературное выступление и как гражданский акт. Началось следствие «о непозволительных стихах»; находясь под арестом, Лермонтов пишет серию стихотворений, составивших так называемый «тюремный цикл» («Сосед», «Узник»); мотивы его ощущаются и в таких поздних шедеврах, как «Соседка» и «Пленный рыцарь».
Первая кавказская ссылка поэта в марте 1837 г. неожиданно раздвинула диапазон его творчества. В Пятигорске, Ставрополе, Тифлисе расширяется круг его связей; он знакомится со ссыльными декабристами и близко сходится с крупнейшим поэтом декабристской каторги - А. И. Одоевским; в Тифлисе вступает в контакт с культурной средой, группировавшейся вокруг А. Чавчавадзе (тестя Грибоедова), одного из наиболее значительных представителей грузинского романтизма. Наконец, он впервые близко соприкасается с народной жизнью, видит быт казачьих станиц, русских солдат, многочисленных народностей Кавказа. Все это прямо проецируется на его творчество, укрепляя, в частности, уже определившиеся фольклористические интересы; в 1837 г. Лермонтов записывает народную сказку об Ашик-Керибе, стремясь передать характер восточной речи и психологию «турецкого» (тюркского, т. е., по-видимому, азербайджанского) сказителя; в «Дарах Терека» (1839), «Казачьей колыбельной песне» (1838), «Беглеце» (1837-1838) из фольклорной стихии вырастает народный характер, с чертами этнической и исторической определенности. Общение с А. И. Одоевским отразилось в прочувствованном стихотворении на его смерть («Памяти А. И. О-го», 1839) и в стихотворениях, где улавливаются следы знакомства с одной из лучших (ненапечатанных) элегий Одоевского 30-х годов - «Куда несетесь вы, крылатые станицы...» - «Спеша на север издалека» (1837) и «Последнее новоселье» (1841). Но едва ли не наиболее важное поле для социально-психологических наблюдений открылось Лермонтову там, где он столкнулся с представителями иных общественных и психологических генераций - со ссыльными декабристами, с близким к ним доктором Майером (прототип Вернера в «Герое нашего времени») и др. Эти контакты не были простыми и легкими; поздние воспоминания М. А. Назимова показывают, что обе стороны ощущали психологический барьер, возникавший из-за контраста двух типов социального поведения; лермонтовский скептицизм и ирония, внешнее равнодушие к, казалось бы, незыблемым этическим и эстетическим ценностям оказывались неприемлемыми для «поколения 1820-х годов» (он оттолкнул при первой встрече и Белинского, привыкшего к мировоззренческим спорам в философских кружках); но и для Лермонтова открытая исповедальность его собеседников представала почти профанацией, и он намеренно принимал на себя ролевую маску «светского человека». Эта система отношений, осмысленная в социально-психологических категориях, окажется очень существенной в проблематике «Героя нашего времени». Уже в «Бородине» Лермонтов ставил вопрос об исторической судьбе поколений в современном ему обществе; качественно новым явлением была «Дума» (1838) с ее беспощадным самоанализом, где Лермонтов едва ли не впервые поднялся над собственным рефлектирующим сознанием, оценивая его со стороны как порождение времени, исторически обусловленный и преходящий этап в развитии общества. В этом отношении «Дума» - прямой пролог к «Герою нашего времени», замысел которого уходит своими истоками во впечатления 1837-1838 гг.; она дает как бы первоначальный абрис общей концепции романа, персонифицированной в образе Печорина. К тем же проблемам, но с несколько иной стороны Лермонтов подходит в стихотворении «Не верь себе» (1839), где происходит переоценка традиционно романтической темы «поэт и толпа»: в прямом противоречии с традицией, «толпа» оказывается ценностно значительнее «поэта», ибо концентрирует в себе тяжелый и выстраданный душевный опыт. Все эти социально-философские идеи пронизывают зрелую лирику Лермонтова, над которой он работает параллельно с романом и двумя своими центральными поэмами - «Демоном» и «Мцыри» - уже в Петербурге, куда он вернулся в январе 1838 г., по хлопотам родных получив «прощение» и перевод в лейб-гвардии Гродненский полк.