Eseul introductiv al romanului povestește despre orașul natal al autorului - Salem, despre strămoșii săi - fanaticii puritani, despre munca sa în obiceiurile de la Salem și despre oamenii cu care trebuia să se confrunte acolo. „Nici ușa din față, nici cea din spate a vămii nu duc la paradis”, iar serviciul din această instituție nu contribuie la înflorirea înclinațiilor bune în oameni. Odată, săpând hârtiile aduse într-o încăpere uriașă de la etajul al treilea de vama, autorul a găsit un manuscris al unui anume Jonathan Pugh, care murise în urmă cu optzeci de ani. A fost o biografie a Esther Prien, care a trăit la sfârșitul secolului al XVII-lea. S-a păstrat o hârtie roșie cu hârtiile, la o inspecție mai atentă s-a dovedit uimitor de brodată cu litera „A”; când autorul l-a pus la piept, i s-a părut că simte o arsură. Demis după victoria lui Whig, autorul a revenit la studii literare, pentru care fructele operei domnului Pugh i-au fost foarte utile.

Din închisoarea din Boston vine Esther Prien cu un copil în brațe. Poartă o rochie frumoasă pe care și-a cusut-o singură în închisoare, pe pieptul său broderia stacojie, sub forma literei „A” - prima literă a cuvântului Adultere (adultere). Toată lumea condamnă comportamentul Esterei și ținuta ei sfidătoare. Este condusă spre piața pieței până pe platformă, unde va trebui să stea până la una după-amiază, sub privirile ostile ale mulțimii - o astfel de pedeapsă i-a fost adusă de instanță pentru păcatul ei și pentru că a refuzat să dea numele tatălui fiicei sale nou-născute. În fața pilonului, Esther își amintește viața ei trecută, copilăria din Anglia veche, o savantă de vârstă mijlocie cu care și-a legat soarta. Privind în jurul mulțimii, observă în rândurile din spate un bărbat care pune imediat stăpânire pe gândurile ei. Acest bărbat nu este tânăr, are privirea pătrunzătoare a unui cercetător și spatele înfocat al unui muncitor neobosit. El îi întreabă pe alții despre cine este ea. Ei sunt surprinși că nu a auzit nimic despre ea. Dar el explică că el nu este aici, a fost de mult timp înrobit de neamuri, iar acum indianul l-a adus la Boston pentru a primi o răscumpărare. I se spune că Esther Prien este soția unui om de știință englez care a decis să se mute în Noua Anglie. Și-a trimis soția înainte și a rămas în Europa. În cei doi ani petrecuți la Boston, Esther nu a primit nicio veste de la el: probabil a murit. Instanța condescendentă a ținut cont de toate circumstanțele atenuante și nu a condamnat-o pe femeia căzută la moarte, dar l-a condamnat să stea doar trei ore pe peron, la stâlpul rușinos, și apoi să poarte semnul necinstirii pe piept pentru tot restul vieții. Dar toată lumea este supărată că nu a numit-o complică a păcatului. Cel mai vechi preot din Boston, John Wilson, o convinge pe Esther să dezvăluie numele seducătorului, urmat de un tânăr pastor, Dimsdale, al cărui enoriaș era, rupându-și emoția. Dar tânăra este încăpățânată de tăcere, ținându-și copilul strâns de piept.

Când Esther se întoarce în închisoare, același străin pe care l-a văzut în piață vine la ea. Este doctor și se numește Roger Chillingworth. Mai întâi, îl calmează pe copil, apoi îi dă medicamentul Esther. Se teme că el o va otrăvi, dar medicul promite să nu se răzbune nici pe tânăra, nici pe copil. Era prea prezumtiv pentru el să se căsătorească cu o tânără fată frumoasă și să aștepte un sentiment reciproc din partea ei. Esther a fost întotdeauna cinstită cu el și nu a pretins că ea îl iubește. Deci, amândoi și-au făcut rău reciproc și chiar. Dar Chillingworth vrea să cunoască numele iubitei sale Esther, numele persoanei care a făcut rău amândoi. Esther refuză să-l numească. Chillingworth o face să înjure că nu va dezvălui nimănui numele său real și relația cu el. Fiecare să creadă că soțul ei este mort. El decide, în orice caz, să afle cu cine a păcătuit Esther și să se răzbune pe iubitul ei.

După ce a ieșit din închisoare, Esther se stabilește într-o casă abandonată de la marginea Bostonului și își trăiește viața ca o acritură. Este un brodător atât de priceput încât nu are sfârșit pentru clienți. Ea își cumpără singură necesitățile și distribuie restul banilor săracilor, auzind deseori insulte în locul recunoștinței în schimb. Fiica ei Pearl este frumoasă, dar are o dispoziție pasională și schimbătoare, așa că Esther nu este ușoară cu ea. Pearl nu vrea să se supună niciunei reguli. Prima ei impresie conștientă a fost scrisoarea stacojie de pe pieptul Esterei.

Sigiliul respingerii revine fetei: nu este ca alți copii, nu se joacă cu ei. Văzând ciudățelile fetei și disperate să afle cine este tatăl ei, unii cetățeni o consideră o naștere diavolă. Esther nu se desparte niciodată de fiica ei și o ia cu ea peste tot. Odată ce vin la guvernator pentru a-i da înapoi o pereche de mănuși ceremoniale brodate comandate de el. Guvernatorul nu este acasă și îl așteaptă în grădină. Guvernatorul se întoarce împreună cu preoții Wilson și Dimsdale. Pe drum, ei au vorbit despre faptul că Pearl este un copil al păcatului și ar trebui să-l ia de la mama ei și să-l transfere în alte mâini. Când îi raportează asta lui Esther, ea nu este de acord să renunțe la fiica ei. Pastorul Wilson decide să afle dacă Esther o crește într-un spirit creștin. Pearl, care știe chiar mai mult decât ce se presupune a fi la vârsta ei, se încăpățânează și răspunde la întrebarea cine a creat-o, îi răspunde că nimeni nu a creat-o, mama ei tocmai a găsit-o într-un tufiș la ușa închisorii. Domnii pietosi sunt ingroziti: fata are deja trei ani si nu stie cine a creat-o. Aceștia decid să o ia pe Pearl de la mama lor, iar ea reușește să-și țină fiica acasă doar datorită mijlocirii Pastorului Dimsdale.

Cunoștințele despre medicină și evlavie au câștigat respectul oamenilor din Boston pentru Chillingworth. La scurt timp după sosirea sa, l-a ales pe Rev. Dimsdale ca tatăl său spiritual. Toți enoriașii îl apreciau foarte mult pe tânărul teolog și erau preocupați de sănătatea sa, care s-a deteriorat brusc în ultimii ani. Oamenii au văzut degetul Providenței la sosirea lor la medicul priceput și au insistat ca domnul Dimsdale să se îndrepte spre el pentru ajutor. Drept urmare, tânărul preot și bătrânul doctor și-au făcut prieteni, apoi s-au stabilit chiar împreună. Chillingworth, care s-a ocupat de investigarea secretelor Esterei cu imparțialitatea severă a unui judecător, cade din ce în ce mai mult sub puterea unui singur sentiment - răzbunarea, care îi subjugă întreaga viață. Simțind firea arzătoare a tânărului preot, el vrea să pătrundă în adâncurile ascunse ale sufletului său și pentru aceasta nu se oprește la nimic. Chillingworth îl provoacă tot timpul pe Dimsdale, povestindu-i despre păcătoșii nerefăcuți. El susține că boala corporală a lui Dimsdale se bazează pe o rană mentală și îl convinge pe preot să-i dezvăluie, medicului, cauza suferinței sale emoționale. Dimsdale exclamă: „Cine ești tu să ... stai între suferind și Domnul său?” Dar, odată ce un tânăr preot adormește pe un scaun în timpul zilei și nu se trezește nici atunci când Chillingworth intră în cameră. Bătrânul se apropie de el, își pune mâna pe piept și desface haine pe care Dimsdale nu le-a scos niciodată în prezența unui medic. Chillingworth triumfă - „așa se comportă Satana atunci când este convins că un suflet uman prețios este pierdut pentru cer și câștigat pentru iad”. Dimsdale simte ostilitate față de Chillingworth și se reproșează de sine, nu găsește niciun motiv pentru ea, iar Chillingworth - „o creatură mizerabilă, singură, chiar mai mizerabilă decât victima sa” - încearcă din greu să agraveze chinul mental al lui Dimsdale.

Într-o noapte, Dimsdale merge pe piața pieței și stă la stâlp. În zori trece Esther Prien și Pearl. Preotul îi cheamă, urcă pe peron și stau lângă el. Pearl îl întreabă pe Dimsdale dacă va sta aici cu ei mâine după-amiază, dar el îi răspunde că în Ziua Judecății de Apoi, toți trei vor sta în fața tronului marelui judecător, dar acum nu este momentul și lumina zilei nu ar trebui să le vadă pe trei. Cerul întunecat se luminează brusc - probabil aceasta este lumina unui meteor. Ei nu văd departe de platforma lui Chillingworth, care îi privește în mod inseparabil. Dimsdale îi spune lui Esther că simte groaza inexpresibilă în fața acestui bărbat, însă Esther, legată de un jurământ, nu îi dezvăluie secretele lui Chillingworth.

Anii trec. Perla are șapte ani. Comportamentul perfect al Esterei și ajutorul ei dezinteresat față de cei afectați duce la faptul că locuitorii orașului încep să o trateze cu un fel de respect. Chiar și scrisoarea stacojie le pare un simbol al păcatului, ci al puterii interioare. Odată, în timp ce mergea cu Pearl, Esther o întâlnește pe Chillingworth și este uimită de schimbarea care a avut loc în el în ultimii ani. Fața calmă, înțeleaptă a omului de știință a căpătat o expresie prădătoare și crudă, un zâmbet îl privește cu un râs. Esther îi vorbește, aceasta este prima lor conversație de când a depus un jurământ de la ea să nu-și dezvăluie numele real. Esther îi cere să nu-l tortureze pe Dimsdale: suferința pe care Chillingworth îl supune este mai rea decât moartea. În plus, el este chinuit de ochii inamicului său jurat, nici măcar nu știe cine este. Esther întreabă de ce Chillingworth nu se răzbună pe ea; el răspunde că o scrisoare stacojie îl răzbună. Esther îl roagă pe Chillingworth să se răzgândească, el încă poate fi salvat, deoarece această ură l-a transformat dintr-o persoană înțeleaptă, dreaptă, în diavol. Este în puterea lui să ierte, iertarea oamenilor care l-au jignit va fi mântuirea lui. Dar Chillingworth nu poate ierta, destinul său este ura și răzbunarea.

Esther decide să îi dezvăluie lui Dimsdale că Chillingworth este soțul ei. Ea caută o întâlnire cu preotul. În cele din urmă, îl întâlnește în pădure. Dimsdale îi spune cum suferă de faptul că toată lumea îl consideră pur și imaculat, în timp ce el s-a pătat de păcat. El este înconjurat de minciuni, goliciune, moarte. Esther îi dezvăluie cine se ascunde sub numele de Chillingworth. Dimsdale este enervat: din vina Estherului, el „și-a expus sufletul său criminal și slab în fața ochilor celui care a ascuns-o în secret”. Dar iartă Estera. Amândoi sunt de părere că păcatul lui Chillingworth este chiar mai rău decât păcatul lor: el s-a prăbușit pe altarul inimii umane. Ei înțeleg - Chillingworth, știind că Esther va dezvălui secretul lui Dimsdale, inventează noi intrigi. Esther oferă Dimsdale să alerge și să înceapă o viață nouă. Ea este de acord cu skipperul navei care navighează spre Bristol, că va lua la bord doi adulți și un copil.

Nava urmează să navigheze în trei zile, iar în ajunul lui Dimsdale urmează să citească o predică în ziua alegerilor. Dar își simte mintea cum se întunecă. Chillingworth îi oferă ajutorul său, dar Dimsdale refuză. Oamenii se adună în piața pieței pentru a auzi mesajul lui Dimsdale. Esther se întâlnește cu un skipper al unei nave Bristol în mulțime, iar acesta o informează că Chillingworth va naviga și cu ei. Vede de cealaltă parte a Chillingworth Square care îi zâmbește rău. Dimsdale oferă o predică strălucitoare. Începe procesiunea festivă, Dimsdale decide să se pocăiască de oameni. Chillingworth, dându-și seama că acest lucru va ușura chinul suferinței și simțind că victima se alunecă de el, se repezi spre el, implorându-i să nu aducă rușine asupra demnității sale sfinte. Dimsdale îi cere lui Esther să-l ajute să urce pe platformă. El stă la stâlpul și se pocăiește de păcatul său în fața oamenilor. În concluzie, smulge eșarfa preoțească, expunându-și pieptul. Privirea lui se estompează, moare, ultimele lui cuvinte - laudă atotputernicului. Diferite zvonuri se strecură în jurul orașului: unii spun că pe pieptul preotului exista o scrisoare stacojie - o asemănare exactă cu cea purtată de Esther Prien. Alții, dimpotrivă, susțin că pieptul preotului era curat, dar, sesizând apropierea morții, a dorit să renunțe la spiritul în brațele unei femei căzute, pentru a arăta lumii cât de îndoielnică este dreptatea celor mai imaculate dintre oameni.

După moartea lui Dimsdale, Chillingworth, care pierduse sensul vieții, a devenit imediat decret, iar forța sa spirituală și fizică l-a părăsit deodată. Nici măcar un an nu trecuse înainte de a muri. El a lăsat întreaga sa mare avere micuței Perle. După moartea vechiului doctor, Esther și fiica ei au dispărut, iar povestea Esterei a devenit o legendă. Mulți ani mai târziu, Esther s-a întors și a pus din nou în mod voluntar emblema rușinii. Locuiește singură în vechea casă de la marginea Bostonului. Perla, se pare, fericită căsătorită, și-a amintit de mama ei, i-a scris, i-a trimis cadouri și ar fi bucuroasă dacă Esther ar trăi cu ea. Dar Esther voia să trăiască acolo unde s-a întâmplat păcatul ei - credea că ispășirea ar trebui să se facă și acolo. Când a murit, a fost înmormântată lângă pastorul Dimsdale, dar a rămas un gol între cele două morminte, de parcă chiar și după moarte, cenușa acestor două nu avea dreptul să se amestece.