...
Eroare System Design · Cozi de mesaje și procesare asincronă

Mesaje pierdute: consumatorul confirmă (ack) înainte să termine procesarea

Pe scurt

Consumatorul spune brokerului „am primit” (ack, commit de offset, delete în SQS) înainte să termine lucrul. Dacă procesul cade între confirmare și finalizare, mesajul e pierdut definitiv. Confirmă doar după ce efectul e salvat și fă procesarea idempotentă, pentru eventualele relivrări.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Brokerul păstrează un mesaj până primește confirmarea că a fost procesat. Momentul confirmării alege garanția: confirmarea la primire dă „cel mult o dată” (at-most-once): rapid, dar orice cădere în timpul procesării pierde mesajul. Confirmarea după procesare dă „cel puțin o dată” (at-least-once): fără pierderi, dar cu posibile duplicate după o cădere.

Pierderea apare des din configurări implicite: autoAck: true / noAck în RabbitMQ, enable.auto.commit=true în Kafka (commit periodic, indiferent de procesare), ștergerea mesajului SQS la începutul handler-ului, sau procesarea asincronă (un thread separat) după ce funcția care a primit mesajul a confirmat deja.

Simptomul: rar, la deploy-uri sau căderi, unele emailuri, facturi sau actualizări lipsesc, fără nicio eroare în loguri. E greu de observat tocmai pentru că nu lasă urme.

De ce apare: cauzele frecvente

1Ack automat la primire

Greșit
channel.consume('emailuri', (msg) => {
  trimiteEmail(JSON.parse(msg.content));
}, { noAck: true });
Corect
channel.consume('emailuri', async (msg) => {
  await trimiteEmail(JSON.parse(msg.content));
  channel.ack(msg);
}, { noAck: false });

Mesajul e confirmat abia după ce emailul a plecat; dacă procesul cade, brokerul îl relivrează.

2Kafka cu auto-commit

Greșit
enable.auto.commit=true
Corect
enable.auto.commit=false
# după procesarea lotului: consumer.commitSync()

Offset-ul avansează doar pentru mesajele procesate complet.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre emailurile care se pierd din când în când.

Indiciu

Ce face brokerul cu un mesaj după ce primește ack?

Alte forme ale mesajului

  • Lost messages with autoAck
  • Kafka: messages skipped after consumer restart (auto commit)

Cum o eviți pe viitor

  • Confirmă mesajele doar după procesare completă.
  • Dezactivează auto-ack / auto-commit pentru mesajele importante.
  • Fă consumatorii idempotenți, pentru relivrări.
  • Testează căderea unui worker în mijlocul procesării.

Întrebări frecvente

Dar așa pot primi duplicate?

Da, și e alegerea corectă: duplicatele se tratează cu idempotență, pierderile nu se mai pot recupera.

Ce înseamnă prefetch în RabbitMQ?

Câte mesaje neconfirmate poate ține un consumator. Cu ack manual, un prefetch mic împiedică un singur worker să adune multe mesaje pe care le-ar putea pierde la cădere sau bloca.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.