...
Eroare System Design · Cozi de mesaje și procesare asincronă

Același mesaj procesat de două ori (clientul primește două SMS-uri / e taxat de două ori)

Pe scurt

Cozile garantează de obicei livrarea „cel puțin o dată” (at-least-once): după un timeout, o eroare sau o reîncercare, același mesaj poate ajunge de două ori la consumator. Fă procesarea idempotentă: salvează id-ul mesajului procesat și ignoră duplicatele, sau folosește chei de idempotență la apelurile externe.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Aproape toate sistemele de mesaje (SQS standard, RabbitMQ, Kafka cu configurația obișnuită) livrează fiecare mesaj cel puțin o dată, nu exact o dată. Duplicatele apar normal: consumatorul a procesat mesajul, dar a căzut înainte să confirme (ack / commit offset); timpul de vizibilitate din SQS a expirat cât încă lucra; producătorul a reîncercat publicarea după un timeout; workerul a reîncercat un apel care de fapt reușise.

Pentru un email, un duplicat e o neplăcere. Pentru o plată, un SMS plătit sau scăderea stocului, e un bug serios.

Soluția nu e să încerci să elimini duplicatele din broker (e foarte greu), ci să faci consumatorul idempotent: procesarea aceluiași mesaj de două ori are același efect ca o dată. De obicei: un tabel cu id-urile mesajelor procesate (cu constrângere unică, în aceeași tranzacție cu efectul), operații naturale idempotente (SET status = 'platit', nu sold = sold - 100) și chei de idempotență la API-urile externe.

De ce apare: cauzele frecvente

1Consumator care nu verifică duplicatele

Greșit
def proceseaza(mesaj):
    sms.trimite(mesaj['telefon'], mesaj['text'])
Corect
def proceseaza(mesaj):
    with db.transaction():
        if db.exista('SELECT 1 FROM procesate WHERE id = %s', mesaj['id']):
            return
        db.execute('INSERT INTO procesate (id) VALUES (%s)', mesaj['id'])
    sms.trimite(mesaj['telefon'], mesaj['text'], idempotency_key=mesaj['id'])

Id-ul mesajului e înregistrat o singură dată, iar cheia de idempotență protejează și apelul extern.

2Operație care nu e idempotentă

Greșit
UPDATE conturi SET sold = sold - 100 WHERE id = 7;
Corect
INSERT INTO plati (id_mesaj, cont_id, suma) VALUES (:id, 7, 100)
  ON CONFLICT (id_mesaj) DO NOTHING;
-- soldul se calculează din plăți

A doua livrare a aceluiași mesaj nu mai inserează nimic, deci soldul nu scade de două ori.

Repară tu

Repară eroarea, direct în pagină

Workerii de SMS reîncearcă de 3 ori la eroare, dar procesarea nu e idempotentă: când furnizorul răspunde lent, unii clienți primesc același SMS de două ori. Fă procesarea sigură la duplicate, păstrând reîncercările.

Indiciu

Avertismentul workerilor din tab-ul Simulare descrie exact riscul.

Alte forme ale mesajului

  • Duplicate message delivery (at-least-once)
  • SQS: message received more than once
  • Kafka: duplicate processing after rebalance

Cum o eviți pe viitor

  • Presupune mereu că un mesaj poate veni de mai multe ori.
  • Salvează id-urile mesajelor procesate, cu constrângere unică.
  • Folosește chei de idempotență la plăți și la alte API-uri externe.
  • Preferă operații care setează o stare în locul celor care adună sau scad.

Întrebări frecvente

Kafka are „exactly-once”. Nu rezolvă asta?

Rezolvă cazul în care citești din Kafka și scrii tot în Kafka, în tranzacții. Când efectul e în afara Kafka (un email, o bază de date, o plată), tot ai nevoie de idempotență în consumator.

Cât timp păstrez id-urile procesate?

Cel puțin cât poate dura o redistribuire: perioada de retenție a cozii sau câteva zile. Apoi le poți șterge periodic.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.