Автор-рассказчик вспоминает недавнее прошлое: раннюю погожую осень, весь золотой подсохший и поредевший сад, тонкий аромат опавшей листвы и запах антоновских яблок: садовники насыпают их на телеги, чтобы отправить в город. Поздно ночью, выбежав в сад и поговорив со сторожами, глядишь в темно-синюю глубину неба, переполненного созвездиями, глядишь долго-долго, пока земля не поплывет под ногами, и ощущаешь, как хорошо жить на свете.
Рассказчик вспоминает свои Выселки, которые еще со времени его дедушки были известны в округе как богатая деревня. Старики и старухи жили там подолгу — первый признак благополучия. Дома в Выселках были кирпичные, крепкие. Средняя дворянская жизнь имела много общего с богатой мужицкой. Вспоминается тетка Анна Герасимовна, ее усадьба — небольшая, но прочная, старая, окруженная столетними деревьями. Сад у тетки славился своими яблонями, соловьями и горлинками, а дом — крышей: соломенная крыша его была необыкновенно толстой и высокой, почерневшей и затвердевшей от времени. В доме прежде всего чувствовался запах яблок, а потом уже другие запахи: старой мебели красного дерева, сушеного липового цвета.
Вспоминается рассказчику его покойный шурин Арсений Семеныч, помещик-охотник, в большом доме которого собиралось множество народу, все сытно обедали, а затем отправлялись на охоту. На дворе трубит рог, завывают на разные голоса собаки, любимец хозяина, черный борзой, влезает на стол и пожирает с блюда остатки зайца под соусом. Автор вспоминает себя верхом на злом, сильном и приземистом «киргизе»: деревья мелькают перед глазами, вдали слышны крики охотников, лай собак. Из оврагов пахнет грибной сыростью и мокрой древесной корой. Темнеет, вся ватага охотников вваливается в усадьбу какого-нибудь почти незнакомого холостяка и, случается, живет у него по нескольку дней. После целого дня, проведенного на охоте, тепло людного дома особенно приятно. Когда же случалось проспать на следующее утро охоту, можно было весь день провести в хозяйской библиотеке, листая старинные журналы и книги, разглядывая заметки на их полях. Со стен смотрят фамильные портреты, перед глазами встает старинная мечтательная жизнь, с грустью вспоминается бабушка.
Но перемерли старики в Выселках, умерла Анна Герасимовна, застрелился Арсений Семеныч. Наступает царство мелкопоместных дворян, обедневших до нищенства. Но хороша и эта мелкопоместная жизнь! Рассказчику случалось гостить у соседа. Встает он рано, велит ставить самовар и, надев сапоги, выходит на крыльцо, где его окружают гончие. Славный будет денек для охоты! Только по чернотропу с гончими не охотятся, эх, кабы борзые! Но борзых у него нет… Однако с наступлением зимы опять, как в прежние времена, съезжаются мелкопоместные друг к другу, пьют на последние деньги, по целым дням пропадают в снежных полях. А вечером на каком-нибудь глухом хуторе далеко светятся в темноте окна флигеля: там горят свечи, плавают клубы дыма, там играют на гитаре, поют…
Повествователь— «я» писателя, во многом сходное с лирическим героем поэзии Бунина. «Антоновские яблоки» — символ уходящей в прошлое России, подобный чеховскому «Вишневому саду»: «Помню большой, весь золотой, подсохший и поредевший сад, помню кленовые аллеи, тонкий аромат опавшей листвы и — запах антоновских яблок, запах меда и осенней свежести». У Бунина незначительная, казалось бы, деталь — запах антоновских яблок — будит вереницу воспоминаний о детстве. Герой снова чувствует себя мальчиком, думающим: «…как хорошо жить на свете!»
Во второй главке, начинающейся поверьем «Ядреная антоновка — к веселому году», Бунин воссоздает уходящую атмосферу барской усадьбы своей тетки Анны Герасимовны. «Войдешь в дом и прежде всего услышишь запах яблок, а потом уже другие: старой мебели красного дерева, сушеного липового цвета, который с июня лежит на окнах…»
Тема антоновских яблок и опустевших осенью садов сменяется в третьей главке другой — охотой, которая одна «поддерживала угасающий дух помещиков». Бунин подробно воссоздает жизнь в усадьбе Арсения Семеныча, прототипом которого был один из родственников писателя. Дается почти сказочный портрет дяди: «Он высок ростом, худощав, но широкоплеч и строен, а лицом, а лицом — красавец цыган. Глаза у него блестят дико, он очень ловок, в шелковой малиновой рубахе, бархатных шароварах и длинных сапогах». Опоздав на охоту, П. остается в старом барском доме. Он перебирает старые, дедовские книги, «журналы с именами Жуковского, Батюшкова, лицеиста Пушкина», смотрит на портреты. «И старинная мечтательная жизнь встает перед тобою», — размышляет П. Это развернутое поэтическое описание одного дня в деревне напоминает пушкинское стихотворение «Зима. Что делать нам в деревне. Я встречаю…».
Однако эта «мечтательная жизнь» уходит в прошлое. В начале заключительной, четвертой главки он пишет: «Запах антоновских яблок исчезает из помещичьих усадеб. Эти дни были так недавно, а меж тем мне кажется, что с тех пор прошло чуть не целое столетие. Перемерли старики в Выселках, умерла Анна Герасимовна, застрелился Арсений Семеныч… Наступает царство мелкопоместных, обедневших до нищенства». Далее он заявляет, что «хороша и эта мелкопоместная жизнь», и описывает ее. Но запаха антоновских яблок в конце рассказа уже нет.