Poison message: același mesaj eșuează la nesfârșit și blochează coada
Un mesaj care nu poate fi procesat niciodată (date invalide, un bug) e reîncercat la infinit, consumă workeri și, în cozile ordonate, blochează mesajele din spatele lui. Limitează reîncercările și mută mesajul într-o dead letter queue (DLQ) după N eșecuri, apoi analizează-l separat.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Reîncercările sunt făcute pentru erori temporare: furnizorul a dat timeout, baza a avut un deadlock. Unele mesaje însă eșuează din motive permanente: JSON invalid, un câmp lipsă, o versiune nouă a formatului, un client șters între timp. Fără o limită, un astfel de mesaj („otrăvit”) se întoarce în coadă după fiecare eșec, la nesfârșit.
Efectele: workeri ocupați cu același mesaj, loguri pline de aceeași eroare, costuri, iar în cozile FIFO sau în partițiile Kafka, toate mesajele de după el așteaptă (head-of-line blocking).
Soluția standard e dead letter queue: după un număr maxim de încercări (maxReceiveCount în SQS, x-dead-letter-exchange + limită în RabbitMQ, un topic DLT în Kafka), mesajul e mutat într-o coadă separată. Coada principală merge mai departe, iar echipa primește o alertă și investighează mesajul păstrat intact.
De ce apare: cauzele frecvente
1Reîncercări fără limită
@RabbitListener(queues = "facturi")
void proceseaza(Factura f) {
genereaza(f); // excepție -> mesajul revine în coadă, la nesfârșit
}# coada facturi: x-dead-letter-exchange = facturi.dlx, x-delivery-limit = 5 (quorum queue)
@RabbitListener(queues = "facturi")
void proceseaza(Factura f) {
genereaza(f);
}După 5 livrări eșuate, mesajul pleacă în DLQ, iar coada continuă.
2SQS fără redrive policy
aws sqs create-queue --queue-name facturiaws sqs set-queue-attributes --queue-url $Q --attributes '{"RedrivePolicy": "{\"deadLetterTargetArn\":\"arn:aws:sqs:eu-central-1:123456789012:facturi-dlq\",\"maxReceiveCount\":\"5\"}"}'SQS mută singur mesajul în DLQ după 5 recepții fără ștergere.
Repară eroarea, direct în pagină
Workerii de facturi reîncearcă de 5 ori, iar coada nu are dead letter queue: o factură cu date invalide se întoarce la nesfârșit și ocupă workerii. Fă ca mesajele care eșuează mereu să fie puse deoparte, fără să renunți la reîncercări.
Indiciu
Uită-te la proprietățile cozii.
Reparația
1. Atinge Coadă de mesaje. 2. Bifează Dead letter queue.
Rezultat: mesajul invalid ajunge în DLQ după 5 încercări.
De ce merge
Fără DLQ, mesajul invalid revine mereu în coadă. Cu dead letter queue activă, după încercările permise mesajul e mutat deoparte, coada principală merge mai departe, iar echipa îl poate analiza.
Alte forme ale mesajului
Message moved to DLQ after maxReceiveCountx-death header (RabbitMQ)Kafka: DeserializationException blocking partition
Cum o eviți pe viitor
- Configurează DLQ pentru fiecare coadă cu reîncercări.
- Alertează când DLQ-ul primește mesaje.
- Separă erorile permanente (validare) de cele temporare și nu le reîncerca pe primele.
- Pregătește un mod de a reprocesa mesajele din DLQ după reparare.
Întrebări frecvente
Ce fac cu mesajele din DLQ?
Le analizezi, repari cauza (codul sau datele), apoi le muți înapoi în coada principală (SQS are „redrive” din consolă) sau le arhivezi dacă nu mai sunt relevante.
Câte reîncercări să permit?
Câteva (3–5), cu backoff între ele. Destul pentru erori temporare, puțin pentru a nu consuma resurse pe un mesaj care oricum nu va reuși.
Erori înrudite
Același mesaj procesat de două ori (clientul primește două SMS-uri / e taxat de două ori) Cozile garantează de obicei livrarea „cel puțin o dată” (at-least-once): după un timeout, o eroare sau o reîncercare, același mesaj poate ajunge de două ori la consumator. Fă procesarea idempotentă: salvează id-ul mesajului procesat și ignoră duplicatele, sau folosește chei de idempotență la apelurile externe. Retry storm: reîncercările fără backoff înmulțesc traficul și țin serviciul căzut La primele erori, toți clienții reîncearcă imediat, de mai multe ori, iar serviciul deja suprasolicitat primește de câteva ori mai mult trafic și nu-și mai poate reveni. Reîncearcă doar erorile temporare, cu backoff exponențial și jitter, cu un număr mic de încercări și un buget de reîncercări. Mesajele ajung în altă ordine decât au fost trimise (comanda apare plătită după ce a fost anulată) Cozile cu mai mulți consumatori, reîncercările și partițiile multiple nu păstrează ordinea globală, deci evenimentele aceleiași entități pot fi procesate invers. Păstrează ordinea acolo unde contează (cheie de partiție = id-ul entității, FIFO cu grup de mesaje) și adaugă versiuni, ca un eveniment vechi să fie ignorat. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
