...
Eroare System Design · Cozi de mesaje și procesare asincronă

Mesajele ajung în altă ordine decât au fost trimise (comanda apare plătită după ce a fost anulată)

Pe scurt

Cozile cu mai mulți consumatori, reîncercările și partițiile multiple nu păstrează ordinea globală, deci evenimentele aceleiași entități pot fi procesate invers. Păstrează ordinea acolo unde contează (cheie de partiție = id-ul entității, FIFO cu grup de mesaje) și adaugă versiuni, ca un eveniment vechi să fie ignorat.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

O coadă simplă e FIFO doar cu un singur consumator și fără reîncercări. În producție ai zeci de workeri care procesează în paralel: mesajul 1 ajunge la un worker lent, mesajul 2 la unul rapid, iar 2 termină înaintea lui 1. Reîncercările fac același lucru: un mesaj eșuat revine în coadă după cele trimise după el. În Kafka, ordinea e garantată doar în interiorul unei partiții.

Pentru multe evenimente ordinea nu contează (emailuri independente). Pentru evenimentele aceleiași entități contează mult: comanda_anulata procesată înaintea comanda_platita lasă comanda „plătită”, un stoc_actualizat vechi suprascrie unul nou, o adresă veche înlocuiește una nouă.

Soluțiile: ordine pe entitate (cheia de partiție Kafka = comanda_id, MessageGroupId în SQS FIFO), versiuni sau timestamp-uri logice în evenimente (consumatorul aplică doar versiuni mai noi decât ce are) și, unde se poate, evenimente care poartă starea completă, nu doar diferența.

De ce apare: cauzele frecvente

1Evenimente fără cheie de partiție

Greșit
producer.send(new ProducerRecord<>("comenzi", eveniment));   // partiție aleasă oricum
Corect
producer.send(new ProducerRecord<>("comenzi", eveniment.comandaId(), eveniment));

Toate evenimentele unei comenzi ajung în aceeași partiție, deci sunt procesate în ordinea trimiterii.

2Consumatorul aplică orice eveniment

Greșit
UPDATE comenzi SET status = :status WHERE id = :id;
Corect
UPDATE comenzi SET status = :status, versiune = :versiune
 WHERE id = :id AND versiune < :versiune;

Un eveniment vechi, sosit târziu, nu mai suprascrie starea mai nouă.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre evenimentele unei comenzi procesate în ordine inversă.

Indiciu

Gândește-te la mai mulți workeri care lucrează în paralel, cu viteze diferite.

Alte forme ale mesajului

  • Out-of-order message processing
  • SQS FIFO: MessageGroupId required for ordering
  • Kafka ordering guarantee only within a partition

Cum o eviți pe viitor

  • Decide pentru fiecare tip de eveniment dacă ordinea contează.
  • Pentru ordine pe entitate, folosește cheia de partiție / grupul de mesaje.
  • Pune versiuni în evenimente și aplică doar versiuni mai noi.
  • Nu te baza pe ordinea globală a unei cozi cu mai mulți consumatori.

Întrebări frecvente

De ce nu folosesc un singur consumator, ca să păstrez ordinea?

Pentru că pierzi paralelismul: un singur worker devine gâtul de sticlă. Ordinea pe entitate (partiții) păstrează și paralelismul, și ordinea care contează.

SQS FIFO rezolvă problema?

Da, pentru mesajele cu același MessageGroupId: sunt livrate în ordine, unul după altul. Are însă un debit mai mic decât coada standard.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.