После танца Раиса нарочно садится неподалеку от Ромашова, неестественно кокетничает со своим партнером (говорит о своей «возвышенной температуре» и «горячем темпераменте»). Во время кадрили, которую она «по просьбе» Ромашова оставила ему, Раиса устраивает отвратительную сцену с бранью по адресу Николаевой, обещает «показать свои когти», театрально сожалеет о том, что гадко поступила с мужем, «этим святым человеком». При этом Ромашов вспоминает, как Раиса называла мужа в письмах нему дураком и крутила пошлые романы со всеми молодыми oфицерами, приезжавшими в полк. Ромашов предлагает расстаться мирно, т. к. любви между ними нет и не было, они лишь играли пошлую и грязную комедию. Ромашов с тоской понимает, что у него нет ни одного близкого человека, который бы понимал его мысли.
Утром проспавший Ромашов опаздывает на занятия. Капитан Слива не упускает возможности оскорбить молодого офицера перед строем. «Этот человек представлял собою грубый и тяжелый осколок прежней, отошедшей в область предания, жестокой дисциплины, с повальным драньем, мелочной формалистикой, маршировкой в три темпа и кулачной расправой». Однако он никогда не позволял себе задерживать денежные солдатские письма из дому, и его люди выглядели веселее, чем у других командиров. Молодых же офицеров Слива никогда не жаловал и не спускал им ни малейшей оплошности. Начинаются занятия повзводно. Унтер-офицер Шаповаленко, подчиненный Ромашова, кричит и замахивается на Хлебникова, малорослого, слабого, забитого, тупого солдата. Ромашов одергивает Шаповаленко. Слива рассуждает в присутствии нескольких младших офицеров о воинской дисциплине, о прежних порядках, когда начальник мог беспрепятственно бить солдата. Ромашов возражает, что рукоприкладство — бесчеловечно, и обещает подать рапорт на Сливу, если тот будет продолжать распускать руки.
23 апреля Ромашов получает приглашение от Шурочки на их общие именины. Он отправляется к подполковнику Рафальскому (прозванному в полку полковником Бремом за то, что содержит дома зверинец) занимать деньги на подарок, на чаевые извозчику и т. д. Николаевы и их гости едут на пикник за город. Осадчий произносит тост за войны прежних лет — веселые, кровопролитные и жестокие. Шурочка и Ромашов удаляются от остальных. Она рассказывает, что видела Ромашова во сне, он объясняется ей в любви, обещает сделать себе имя, добиться высокого положения. Шурочка признается, что тоже любит Ромашова, но и жалеет его, понимая, что он ничего не сможет достичь в жизни. «Ведь жалость — сестра презрения. Подумайте, я не могу уважать вас. О, если бы вы были сильный!» Она говорит, что не любит мужа, не хочет ребенка, но уверяет, что не станет изменять супругу, пока окончательно не бросит его. Когда молодая пара возвращается к гостям, Николаев отводит жену в сторону и со злостью выговаривает ей. Та отвечает ему «с непередаваемым выражением негодования и презрения».
Капитан Стельковский, командир пятой роты, богатый холостяк» развлекается тем, что берет в прислуги молоденьких девушек совратив, отпускает домой, щедро оделив деньгами. Его рота славится и за пределами полка отличной выправкой, прекрасным неведением, великолепным знанием строевой службы. Стельковский щадит людей, не позволяет себе рукоприкладства, обладает терпением, настойчивостью и хладнокровием. Товарищи сторонятся его, однако солдаты «любят воистину».
Наступает день смотра — 15 мая. Во всех ротах, кроме пятой, офицеры поднимают солдат в четыре утра, выгоняют на плац маршировать, суетливо вбивают им в головы наставления по словесности и скверно ругаются. Без четверти десять появляется рота Стельковского. Корпусный командир начинает смотр. Все роты оказываются не на высоте. «Утомление и запуганность солдат, бессмысленная жестокость унтер-офицеров, бездушное, рутинное и халатное отношение офицеров к службе — все это ясно, но позорно обнаружилось на смотру». Только пятая рота Стельковского заслуживает одобрение и похвалу командира. Когда дело доходит до шестой роты, в которой служит Ромашов, молодого подпоручика переполняет радостное чувство, ему кажется, что сейчас генерал заметит и похвалит персонально его, «красавца-подпоручика» Ромашова. Ромашов так увлекается, что теряет равнение и расстраивает общее движение, а его полурота, следующая за ним, сбивается в кучу. Маленький Хлебников падает в пыль, с трудом поднимается и на глазах у генерала, низко согнувшись, едва ли не на четвереньках, догоняет своих. Обнаружив это, Ромашов решает, что он опозорен навеки и ему остается только застрелиться. Капитан Слива требует от Ромашова подать рапорт о переводе в другую роту, прочие офицеры только сочувственно качают головами. Ромашову стыдно и противно при одном воспоминании о своих грезах на плацу перед генералом. На обратном пути в лагерь Ромашов застает фельдфебеля за зверским избиением Хлебникова и не находит в себе сил вступиться за слабого.
Николаев требует от Ромашова перестать бывать в его доме. Он и его жена ежедневно получают анонимные письма, порочащие репутацию Александры Петровны. Ромашов отправляется в собрание, но еще из-за двери слышит, как офицеры обсуждают его сегодняшний провал, а капитан Слива прямо заявляет, что из Ромашова никогда не получится офицера — «так, междометие какое-то». Ромашов выбегает на улицу, долго кружит по городу, упиваясь мечтами о том, как он покончит с собой и все будут жалеть о его безвременной кончине. Ромашов обращается к богу, упрекая того, что он отвернулся от него. В этот момент Ромашов видит, как серая фигура направляется к железнодорожным путям. Ромашов узнает Хлебникова, понимает, что солдат тоже задумал свести счеты с жизнью. Подпоручик останавливает Хлебникова, ласково разговаривает с ним, утешает его, называет братом. Солдат жалуется на жестокое обращение товарищей, вымогательство взводного, плохое здоровье, плачет, уткнувшись Ромашову в колени. Ромашов впервые задумывается о судьбах тысяч таких Хлебниковых, которых он никогда раньше не считал самостоятельными личностями, не помнил лиц своих солдат, не интересовался жизнью и проблемами подчиненных.
«С этой ночи в Ромашове произошел глубокий душевный надлом». Он избегает офицерского общества, зато часто приглашает к себе Хлебникова, начинает немного покровительствовать ему (устраивает солдату маленький дополнительный заработок). Ромашов решает уйти в запас, как только пройдут три обязательных года службы. Он впервые задумывается о штатских профессиях, о недостойном отношении военных к невоенным, о трех «гордых призваниях человека — науке, искусстве и свободном физическом труде».
Один из солдат капитана Осадчего кончает жизнь самоубийством. Осадчий и другие офицеры начинают помногу пить в собрании. В один из вечеров Ромашов оказывается в такой пьяной компании. Офицеры едут сначала в собрание, затем в публичный дом. Туда же приезжают двое штатских, которых офицеры грубо выталкивают вон. Бек-Агамалов выхватывает шашку, кричит: «Зарублю!», — бьет посуду, зеркала. Ромашову удается остановить его, за что Бек чувствует огромную признательность к товарищу. Офицеры вновь едут в собрание. Осадчий и Веткин поют отходную солдату-самоубийце. Ромашов кричит, что не позволит издеваться над покойником. Поднимается крик, к Ромашову подскакивает Николаев, обвиняет его и Казанского в том, что они позорят полк, грозит избить Ромашова. Бек пытается оттащить Ромашова в сторону, но безуспешно. Ромашов выплескивает на Николаева остатки пива из своего стакана.
Суд общества офицеров полка постановляет, что между Ромашовым и Николаевым должен состояться поединок. На суде ни один из противников не упоминает имени Шурочки, из-за которой в конечном итоге им и предстоит стреляться.
Ромашов навещает Казанского. Тот сильно пьян. Казанский говорит, что обида Ромашова на Николаева пройдет, но если он убьет человека, то уже никогда не забудет и не простит себе этого. Ромашов и Казанский едут кататься на лодке. Казанский делится с товарищем своими мыслями об армии, о* смысле жизни, о будущем, сравнивает развал в армии с упадком монашества, говорит о новом времени «разочарований и страшной переоценки»: «Если рабство длилось века, то распадение его будет ужасно... индюшачьего презрения к свободе человеческого духа нам не простят — во веки веков... Настанет время, и великая вера в свое «Я» осенит, как огненные языки святого духа, головы всех людей, и тогда уже не будет ни рабов, ни господ, ни калек, ни жалости, ни пороков, ни злобы, ни зависти... есть только одно непреложное, прекрасное и незаменимое — свободная душа, а с нею творческая мысль и веселая жажда жизни». Назанский уговаривает Ромашова уходить в отставку, и тогда, «на воле» он познает, насколько прекрасна и разнообразна жизнь.
Ромашов возвращается домой и обнаруживает там Шурочку. Она повторяет ему, что не любит мужа, но связывает с его карьерой свое будущее. Шурочка уговаривает Ромашова стреляться с Николаевым, но уверяет, что никто не будет ранен — это она берет на себя. Перед разлукой она отдается своему любимому.
В эпилоге к повести приводится протокол дуэли, из которого следует, что Ромашов был смертельно ранен Николаевым (который, видимо, понял, где находилась предыдущей ночью его жена, и все же зарядил свой пистолет) и сразу же после дуэли скончался.