Același mesaj procesat de două ori (clientul primește două SMS-uri / e taxat de două ori)
Cozile garantează de obicei livrarea „cel puțin o dată” (at-least-once): după un timeout, o eroare sau o reîncercare, același mesaj poate ajunge de două ori la consumator. Fă procesarea idempotentă: salvează id-ul mesajului procesat și ignoră duplicatele, sau folosește chei de idempotență la apelurile externe.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Aproape toate sistemele de mesaje (SQS standard, RabbitMQ, Kafka cu configurația obișnuită) livrează fiecare mesaj cel puțin o dată, nu exact o dată. Duplicatele apar normal: consumatorul a procesat mesajul, dar a căzut înainte să confirme (ack / commit offset); timpul de vizibilitate din SQS a expirat cât încă lucra; producătorul a reîncercat publicarea după un timeout; workerul a reîncercat un apel care de fapt reușise.
Pentru un email, un duplicat e o neplăcere. Pentru o plată, un SMS plătit sau scăderea stocului, e un bug serios.
Soluția nu e să încerci să elimini duplicatele din broker (e foarte greu), ci să faci consumatorul idempotent: procesarea aceluiași mesaj de două ori are același efect ca o dată. De obicei: un tabel cu id-urile mesajelor procesate (cu constrângere unică, în aceeași tranzacție cu efectul), operații naturale idempotente (SET status = 'platit', nu sold = sold - 100) și chei de idempotență la API-urile externe.
De ce apare: cauzele frecvente
1Consumator care nu verifică duplicatele
def proceseaza(mesaj):
sms.trimite(mesaj['telefon'], mesaj['text'])def proceseaza(mesaj):
with db.transaction():
if db.exista('SELECT 1 FROM procesate WHERE id = %s', mesaj['id']):
return
db.execute('INSERT INTO procesate (id) VALUES (%s)', mesaj['id'])
sms.trimite(mesaj['telefon'], mesaj['text'], idempotency_key=mesaj['id'])Id-ul mesajului e înregistrat o singură dată, iar cheia de idempotență protejează și apelul extern.
2Operație care nu e idempotentă
UPDATE conturi SET sold = sold - 100 WHERE id = 7;INSERT INTO plati (id_mesaj, cont_id, suma) VALUES (:id, 7, 100)
ON CONFLICT (id_mesaj) DO NOTHING;
-- soldul se calculează din plățiA doua livrare a aceluiași mesaj nu mai inserează nimic, deci soldul nu scade de două ori.
Repară eroarea, direct în pagină
Workerii de SMS reîncearcă de 3 ori la eroare, dar procesarea nu e idempotentă: când furnizorul răspunde lent, unii clienți primesc același SMS de două ori. Fă procesarea sigură la duplicate, păstrând reîncercările.
Indiciu
Avertismentul workerilor din tab-ul Simulare descrie exact riscul.
Reparația
1. Atinge Workeri SMS. 2. Bifează Procesare idempotentă.
Rezultat: duplicatele sunt recunoscute și ignorate.
De ce merge
Reîncercările sunt utile pentru erorile temporare, dar fără idempotență un mesaj reluat produce efectul de două ori. Cu procesarea idempotentă (id-ul mesajului verificat și cheie de idempotență la furnizor), al doilea SMS nu mai pleacă.
Alte forme ale mesajului
Duplicate message delivery (at-least-once)SQS: message received more than onceKafka: duplicate processing after rebalance
Cum o eviți pe viitor
- Presupune mereu că un mesaj poate veni de mai multe ori.
- Salvează id-urile mesajelor procesate, cu constrângere unică.
- Folosește chei de idempotență la plăți și la alte API-uri externe.
- Preferă operații care setează o stare în locul celor care adună sau scad.
Întrebări frecvente
Kafka are „exactly-once”. Nu rezolvă asta?
Rezolvă cazul în care citești din Kafka și scrii tot în Kafka, în tranzacții. Când efectul e în afara Kafka (un email, o bază de date, o plată), tot ai nevoie de idempotență în consumator.
Cât timp păstrez id-urile procesate?
Cel puțin cât poate dura o redistribuire: perioada de retenție a cozii sau câteva zile. Apoi le poți șterge periodic.
Erori înrudite
Poison message: același mesaj eșuează la nesfârșit și blochează coada Un mesaj care nu poate fi procesat niciodată (date invalide, un bug) e reîncercat la infinit, consumă workeri și, în cozile ordonate, blochează mesajele din spatele lui. Limitează reîncercările și mută mesajul într-o dead letter queue (DLQ) după N eșecuri, apoi analizează-l separat. SQS: același mesaj e procesat în paralel de doi workeri (visibility timeout prea scurt) SQS ascunde un mesaj primit doar pe durata visibility timeout-ului (implicit 30 de secunde). Dacă procesarea durează mai mult și mesajul nu e șters, el redevine vizibil și e preluat de alt worker, deci e procesat de două ori. Setează timeout-ul peste durata maximă a procesării sau prelungește-l din worker. Error: socket hang up (ECONNRESET) Conexiunea TCP a fost închisă de partea cealaltă (serverul, load balancer-ul sau un proxy) în timp ce clientul aștepta răspunsul sau tocmai trimitea o cerere pe ea. Cel mai des e o conexiune keep-alive refolosită după ce load balancer-ul a închis-o; aliniază timeout-urile și reîncearcă doar cererile idempotente. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
