Во вступительном очерке к роману повествуется о родном городе автора — Сейлеме, о его предках — пуританах-фанатиках, о его работе в сейлемской таможне и о людях, с которыми ему пришлось там столкнуться. «Ни парадный, ни черный ход таможни не ведет в рай», и служба в этом учреждении не способствует расцвету хороших задатков в людях. Однажды, роясь в бумагах, сваленных в кучу в огромной комнате на третьем этаже таможни, автор нашел рукопись некоего Джонатана Пью, скончавшегося восемьдесят лет назад. Это было жизнеописание Эстер Прин, жившей в конце XVII в. Вместе с бумагами хранился красный лоскут, при ближайшем рассмотрении оказавшийся изумительно расшитой буквой «А»; когда автор приложил её к груди, ему показалось, что он почувствовал ожог. Уволенный после победы вигов, автор вернулся к литературным занятиям, для которых ему весьма пригодились плоды трудов мистера Пью.
Из бостонской тюрьмы выходит Эстер Прин с грудным ребенком на руках. На ней красивое платье, которое она сшила себе в тюрьме, на груди его алая вышивка в виде буквы «А» — первая буква слова Adulteress (прелюбодейка). Все осуждают поведение Эстер и её вызывающий наряд. Ее ведут на рыночную площадь к помосту, где ей предстоит стоять до часу дня под враждебными взглядами толпы — такое наказание вынес ей суд за её грех и за отказ назвать имя отца новорожденной дочери. Стоя у позорного столба, Эстер вспоминает свою прошлую жизнь, детство в старой Англии, немолодого сгорбленного ученого, с которым она связала свою судьбу. Обведя взглядом толпу, она замечает в задних рядах человека, который тотчас овладевает её мыслями. Человек этот немолод, у него проницательный взгляд исследователя и сгорбленная спина неутомимого труженика. Он расспрашивает окружающих о том, кто она такая. Они удивляются, что он ничего о ней не слышал. Но он объясняет, что он не здешний, долго был в рабстве у язычников, и вот теперь индеец привел его в Бостон, чтобы получить выкуп. Ему рассказывают, что Эстер Прин — жена одного английского ученого, который надумал перебраться в Новую Англию. Он послал жену вперед, а сам задержался в Европе. За два года жизни в Бостоне Эстер не получила от него ни одной весточки: вероятно, он погиб. Снисходительный суд принял во внимание все смягчающие обстоятельства и не осудил падшую женщину на смерть, а приговорил всего лишь простоять три часа на помосте у позорного столба, а затем до конца жизни носить на груди знак бесчестья. Но всех возмущает, что она не назвала имя соучастника греха. Старейший бостонский священник Джон Уилсон убеждает Эстер открыть имя соблазнителя, вслед за ним прерывающимся от волнения голосом к ней обращается молодой пастор Димсдейл, чьей прихожанкой она была. Но молодая женщина упорно молчит, крепко прижимая к груди ребенка.
Когда Эстер возвращается в тюрьму, к ней приходит тот самый незнакомец, которого она видела на площади. Он врач и называет себя Роджером Чиллингуортом. Первым делом он успокаивает ребенка, затем дает лекарство Эстер. Она боится, что он её отравит, но врач обещает не мстить ни молодой женщине, ни младенцу. Было слишком самонадеянно с его стороны жениться на юной красивой девушке и ждать от нее ответного чувства. Эстер всегда была с ним честна и не притворялась, что любит его. Так что они оба причинили друг другу зло и квиты. Но Чиллингуорт хочет узнать имя возлюбленного Эстер, имя человека, причинившего зло им обоим. Эстер отказывается назвать его. Чиллингуорт заставляет её поклясться, что она никому не откроет его настоящего имени и своего с ним родства. Пусть все считают, что её муж умер. Он решает во что бы то ни стало узнать, с кем согрешила Эстер, и отомстить её возлюбленному.
Выйдя из тюрьмы, Эстер поселяется в заброшенном домике на окраине Бостона и зарабатывает на жизнь рукодельем. Она столь искусная вышивальщица, что у нее нет отбоя от заказчиков. Она покупает себе только самое необходимое, а остальные деньги раздает бедным, часто слыша в ответ оскорбления вместо благодарности. Ее дочь Перл красавица, но обладает пылким и переменчивым нравом, так что Эстер с ней нелегко. Перл не хочет подчиняться никаким правилам. Первым её сознательным впечатлением стала алая буква на груди у Эстер.
Печать отверженности лежит и на девочке: она не похожа на других детей, не играет с ними. Видя странности девочки и отчаявшись дознаться, кто её отец, некоторые горожане считают её дьявольским отродьем. Эстер никогда не расстается с дочерью и всюду берет её с собой. Однажды они приходят к губернатору, чтобы отдать заказанную им пару парадных расшитых перчаток. Губернатора нет дома, и они ждут его в саду. Губернатор возвращается вместе со священниками Уилсоном и Димсдейлом. По дороге они говорили о том, что Перл — дитя греха и следует забрать её у матери и передать в другие руки. Когда они сообщают об этом Эстер, она не соглашается отдать дочь. Пастор Уилсон решает выяснить, воспитывает ли её Эстер в христианском духе. Перл, которая знает даже больше, чем полагается в её возрасте, упрямится и на вопрос о том, кто её сотворил, отвечает, что её никто не сотворил, просто мать нашла её в розовом кусте у дверей тюрьмы. Благочестивые джентльмены приходят в ужас: девочке уже три года, а она не знает, кто её сотворил. Они решают забрать Перл у матери, и ей удается оставить дочь у себя только благодаря заступничеству пастора Димсдейла.
Познания в медицине и набожность снискали Чиллингуорту уважение жителей Бостона. Вскоре по прибытии он избрал своим духовным отцом преподобного Димсдейла. Все прихожане весьма почитали молодого богослова и были обеспокоены его здоровьем, резко ухудшившимся в последние годы. Люди видели в приезде в их город искусного врача перст Провидения и настаивали, чтобы мистер Димсдейл обратился к нему за помощью. В результате молодой священник и старый врач подружились, а потом даже и поселились вместе. Чиллингуорт, который взялся за расследование тайны Эстер с суровым беспристрастием судьи, все больше подпадает под власть одного-единственного чувства — мести, которая подчиняет себе всю его жизнь. Почувствовав пылкую натуру молодого священника, он хочет проникнуть в потаенные глубины его души и для этого не останавливается ни перед чем. Чиллингуорт все время провоцирует Димсдейла, рассказывая ему о нераскаявшихся грешниках. Он утверждает, что в основе телесного недуга Димсдейла лежит душевная рана и уговаривает священника открыть ему, врачу, причину его душевных Страданий. Димсдейл восклицает: «Кто ты такой, чтобы <…> становиться между страдальцем и его Господом?» Но однажды молодой священник крепко засыпает днем в кресле и не просыпается даже тогда, когда Чиллингуорт входит в комнату. Старик подходит к нему, кладет руку ему на грудь и расстегивает одежду, которую Димсдейл никогда не снимал в присутствии врача. Чиллингуорт торжествует — «так ведет себя сатана, когда убеждается, что драгоценная человеческая душа потеряна для небес и выиграна для преисподней». Димсдейл чувствует к Чиллингуорту неприязнь и корит себя за нее, не находя для нее причины, а Чиллингуорт — «жалкое, одинокое существо, еще более несчастное, чем его жертва» — всеми силами старается усугубить душевные муки Димсдейла.
Однажды ночью Димсдейл идет на рыночную площадь и становится у позорного столба. На заре мимо проходят Эстер Прин и Перл. Священник окликает их, они всходят на помост и встают рядом с ним. Перл спрашивает Димсдейла, постоит ли он здесь с ними завтра днем, но он отвечает, что в день Страшного суда они будут стоять все втроем перед престолом великого судии, но сейчас еще не время и дневной свет не должен видеть их втроем. Темное небо вдруг озаряется — вероятно, это свет метеора. Они видят недалеко от помоста Чиллингуорта, который неотрывно смотрит на них. Димсдейл говорит Эстер, что испытывает невыразимый ужас перед этим человеком, но Эстер, связанная клятвой, не открывает ему тайны Чиллингуорта.
Годы идут. Перл исполняется семь лет. Безупречное поведение Эстер и её бескорыстная помощь страждущим приводят к тому, что жители городка начинают относиться к ней со своеобразным уважением. Даже алая буква кажется им символом не греха, а внутренней силы. Как-то раз, гуляя с Перл, Эстер встречает Чиллингуорта и поражается перемене, произошедшей в нем за последние годы. Спокойное мудрое лицо ученого приобрело хищное, жестокое выражение, улыбка выглядит на нем гримасой. Эстер заговаривает с ним, это первый их разговор с того раза, когда он взял с нее клятву не раскрывать его настоящего имени. Эстер просит его не мучить Димсдейла: страдания, которым подвергает его Чиллингуорт, хуже смерти. Вдобавок он терзается на глазах своего заклятого врага, даже не зная, кто он такой. Эстер спрашивает, почему Чиллингуорт не мстит ей; тот отвечает, что за него отомстила алая буква. Эстер умоляет Чиллингуорта одуматься, он еще может спастись, ведь это ненависть превратила его из мудрого справедливого человека в дьявола. В его власти простить, прощение людей, нанесших ему обиду, станет его спасением. Но Чиллингуорт не умеет прощать, его удел — ненависть и месть.
Эстер решает открыть Димсдейлу, что Чиллингуорт её муж. Она ищет встречи со священником. Наконец она встречает его в лесу. Димсдейл говорит ей, как он страдает оттого, что все считают его чистым и непорочным, меж тем как он запятнал себя грехом. Его окружают ложь, пустота, смерть. Эстер открывает ему, кто прячется под именем Чиллингуорта. Димсдейл приходит в ярость: по вине Эстер он «обнажал свою немощную преступную душу перед взором того, кто тайно глумился над ней». Но он прощает Эстер. Оба они считают, что грех Чиллингуорта еще страшнее, чем их грех: он посягнул на святыню человеческого сердца. Они понимают — Чиллингуорт, зная, что Эстер собирается раскрыть Димсдейлу его тайну, измышляет новые козни. Эстер предлагает Димсдейлу бежать и начать новую жизнь. Она договаривается со шкипером судна, плывущего в Бристоль, что он возьмет на борт двух взрослых людей и ребенка.