Mesaje pierdute: consumatorul confirmă (ack) înainte să termine procesarea
Consumatorul spune brokerului „am primit” (ack, commit de offset, delete în SQS) înainte să termine lucrul. Dacă procesul cade între confirmare și finalizare, mesajul e pierdut definitiv. Confirmă doar după ce efectul e salvat și fă procesarea idempotentă, pentru eventualele relivrări.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Brokerul păstrează un mesaj până primește confirmarea că a fost procesat. Momentul confirmării alege garanția: confirmarea la primire dă „cel mult o dată” (at-most-once): rapid, dar orice cădere în timpul procesării pierde mesajul. Confirmarea după procesare dă „cel puțin o dată” (at-least-once): fără pierderi, dar cu posibile duplicate după o cădere.
Pierderea apare des din configurări implicite: autoAck: true / noAck în RabbitMQ, enable.auto.commit=true în Kafka (commit periodic, indiferent de procesare), ștergerea mesajului SQS la începutul handler-ului, sau procesarea asincronă (un thread separat) după ce funcția care a primit mesajul a confirmat deja.
Simptomul: rar, la deploy-uri sau căderi, unele emailuri, facturi sau actualizări lipsesc, fără nicio eroare în loguri. E greu de observat tocmai pentru că nu lasă urme.
De ce apare: cauzele frecvente
1Ack automat la primire
channel.consume('emailuri', (msg) => {
trimiteEmail(JSON.parse(msg.content));
}, { noAck: true });channel.consume('emailuri', async (msg) => {
await trimiteEmail(JSON.parse(msg.content));
channel.ack(msg);
}, { noAck: false });Mesajul e confirmat abia după ce emailul a plecat; dacă procesul cade, brokerul îl relivrează.
2Kafka cu auto-commit
enable.auto.commit=trueenable.auto.commit=false
# după procesarea lotului: consumer.commitSync()Offset-ul avansează doar pentru mesajele procesate complet.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre emailurile care se pierd din când în când.
Indiciu
Ce face brokerul cu un mesaj după ce primește ack?
Reparația
- q1: Se pierde: brokerul l-a șters la ack.
- q2: După procesarea completă.
- q3: Adevărat.
De ce merge
Confirmarea înainte de procesare lasă o fereastră în care o cădere pierde mesajul. Confirmarea după procesare, plus idempotență, transformă pierderile în duplicate tratate.
Alte forme ale mesajului
Lost messages with autoAckKafka: messages skipped after consumer restart (auto commit)
Cum o eviți pe viitor
- Confirmă mesajele doar după procesare completă.
- Dezactivează auto-ack / auto-commit pentru mesajele importante.
- Fă consumatorii idempotenți, pentru relivrări.
- Testează căderea unui worker în mijlocul procesării.
Întrebări frecvente
Dar așa pot primi duplicate?
Da, și e alegerea corectă: duplicatele se tratează cu idempotență, pierderile nu se mai pot recupera.
Ce înseamnă prefetch în RabbitMQ?
Câte mesaje neconfirmate poate ține un consumator. Cu ack manual, un prefetch mic împiedică un singur worker să adune multe mesaje pe care le-ar putea pierde la cădere sau bloca.
Erori înrudite
Același mesaj procesat de două ori (clientul primește două SMS-uri / e taxat de două ori) Cozile garantează de obicei livrarea „cel puțin o dată” (at-least-once): după un timeout, o eroare sau o reîncercare, același mesaj poate ajunge de două ori la consumator. Fă procesarea idempotentă: salvează id-ul mesajului procesat și ignoră duplicatele, sau folosește chei de idempotență la apelurile externe. Mesajele stau în coadă și nu le procesează nimeni (niciun consumator conectat) Producătorul publică mesaje, dar niciun consumator nu e abonat la coadă (worker oprit, nume de coadă greșit, binding lipsă), deci mesajele se adună sau, într-un exchange fără coadă, se pierd. Pornește workerii și verifică că ascultă exact coada (sau topicul) în care publici. Write-behind: comenzi pierdute după căderea cache-ului Cu write-behind (write-back), scrierea e confirmată din cache și ajunge în bază mai târziu, grupată. Dacă nodul de cache cade înainte de salvare, modificările confirmate se pierd. Pentru date importante (comenzi, plăți), scrie sincron în bază (write-through sau cache-aside cu invalidare). Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
