Mesajele ajung în altă ordine decât au fost trimise (comanda apare plătită după ce a fost anulată)
Cozile cu mai mulți consumatori, reîncercările și partițiile multiple nu păstrează ordinea globală, deci evenimentele aceleiași entități pot fi procesate invers. Păstrează ordinea acolo unde contează (cheie de partiție = id-ul entității, FIFO cu grup de mesaje) și adaugă versiuni, ca un eveniment vechi să fie ignorat.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
O coadă simplă e FIFO doar cu un singur consumator și fără reîncercări. În producție ai zeci de workeri care procesează în paralel: mesajul 1 ajunge la un worker lent, mesajul 2 la unul rapid, iar 2 termină înaintea lui 1. Reîncercările fac același lucru: un mesaj eșuat revine în coadă după cele trimise după el. În Kafka, ordinea e garantată doar în interiorul unei partiții.
Pentru multe evenimente ordinea nu contează (emailuri independente). Pentru evenimentele aceleiași entități contează mult: comanda_anulata procesată înaintea comanda_platita lasă comanda „plătită”, un stoc_actualizat vechi suprascrie unul nou, o adresă veche înlocuiește una nouă.
Soluțiile: ordine pe entitate (cheia de partiție Kafka = comanda_id, MessageGroupId în SQS FIFO), versiuni sau timestamp-uri logice în evenimente (consumatorul aplică doar versiuni mai noi decât ce are) și, unde se poate, evenimente care poartă starea completă, nu doar diferența.
De ce apare: cauzele frecvente
1Evenimente fără cheie de partiție
producer.send(new ProducerRecord<>("comenzi", eveniment)); // partiție aleasă oricumproducer.send(new ProducerRecord<>("comenzi", eveniment.comandaId(), eveniment));Toate evenimentele unei comenzi ajung în aceeași partiție, deci sunt procesate în ordinea trimiterii.
2Consumatorul aplică orice eveniment
UPDATE comenzi SET status = :status WHERE id = :id;UPDATE comenzi SET status = :status, versiune = :versiune
WHERE id = :id AND versiune < :versiune;Un eveniment vechi, sosit târziu, nu mai suprascrie starea mai nouă.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre evenimentele unei comenzi procesate în ordine inversă.
Indiciu
Gândește-te la mai mulți workeri care lucrează în paralel, cu viteze diferite.
Reparația
- q1: Consumatorii paraleli și reîncercările nu păstrează ordinea globală.
- q2: Cheia mesajului = id-ul comenzii.
- q3: Adevărat.
De ce merge
Ordinea globală nu e garantată cu consumatori paraleli. Partiționarea după id-ul comenzii și versiunile din evenimente păstrează ordinea acolo unde contează.
Alte forme ale mesajului
Out-of-order message processingSQS FIFO: MessageGroupId required for orderingKafka ordering guarantee only within a partition
Cum o eviți pe viitor
- Decide pentru fiecare tip de eveniment dacă ordinea contează.
- Pentru ordine pe entitate, folosește cheia de partiție / grupul de mesaje.
- Pune versiuni în evenimente și aplică doar versiuni mai noi.
- Nu te baza pe ordinea globală a unei cozi cu mai mulți consumatori.
Întrebări frecvente
De ce nu folosesc un singur consumator, ca să păstrez ordinea?
Pentru că pierzi paralelismul: un singur worker devine gâtul de sticlă. Ordinea pe entitate (partiții) păstrează și paralelismul, și ordinea care contează.
SQS FIFO rezolvă problema?
Da, pentru mesajele cu același MessageGroupId: sunt livrate în ordine, unul după altul. Are însă un debit mai mic decât coada standard.
Erori înrudite
Același mesaj procesat de două ori (clientul primește două SMS-uri / e taxat de două ori) Cozile garantează de obicei livrarea „cel puțin o dată” (at-least-once): după un timeout, o eroare sau o reîncercare, același mesaj poate ajunge de două ori la consumator. Fă procesarea idempotentă: salvează id-ul mesajului procesat și ignoră duplicatele, sau folosește chei de idempotență la apelurile externe. CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. Consumatorul Kafka a lucrat prea mult între două apeluri `poll()` (peste `max.poll.interval.ms`), a fost scos din grup, iar partițiile lui au fost date altui consumator, deci commit-ul nu mai e acceptat și mesajele vor fi procesate din nou. Ia loturi mai mici, fă procesarea mai rapidă și consumatorul idempotent. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
