Salem, Nouvelle-Angleterre, XVIIe siècle. Esther Prynne, qui vit seule depuis la disparition de son mari, met au monde un enfant adultère. Elle devra porter une lettre rouge, marque de son infamie, puisqu'elle refuse de divulguer le nom de son amant. Celui-ci, qui ne s'est jamais identifié, vit de plus en plus difficilement sa lâcheté face à la dignité d'Esther. Lorsque son mari réapparaît, il n'est plus obsédé que par son désir de vengeance.