...
Eroare System Design · Cozi de mesaje și procesare asincronă

Coada crește continuu (consumer lag / backlog): mesajele se procesează cu ore întârziere

Pe scurt

Mesajele intră în coadă mai repede decât le pot procesa consumatorii, deci numărul lor (și vechimea celui mai vechi) crește fără oprire. Adaugă consumatori (workeri) sau fă procesarea mai rapidă, și scalează după lungimea cozii, nu după CPU.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

O coadă absoarbe vârfurile: dacă timp de 10 minute intră mai multe mesaje decât se procesează, ele așteaptă și sunt preluate după. Asta e în regulă cât timp, în medie, consumatorii țin pasul. Când rata de intrare depășește constant capacitatea lor, coada crește la nesfârșit: emailurile de confirmare pleacă după ore, rapoartele nu se mai generează, iar în final coada atinge limitele brokerului (memorie, disc, retenție) și mesajele încep să se piardă.

În Kafka se măsoară consumer lag (diferența dintre ultimul offset scris și cel procesat), în SQS ApproximateNumberOfMessagesVisible și ApproximateAgeOfOldestMessage, în RabbitMQ numărul de mesaje ready. Cel mai util semnal e vechimea celui mai vechi mesaj: spune direct cât de în urmă e sistemul.

Soluții: mai mulți consumatori (în Kafka limitați de numărul de partiții), procesare mai rapidă (loturi, mai puține apeluri externe), separarea mesajelor urgente de cele lente în cozi diferite.

De ce apare: cauzele frecvente

1Prea puțini consumatori pentru rata de intrare

Greșit
# 400 de mesaje/s intră
# 2 workeri × 100 de mesaje/s = 200/s  -> coada crește cu 200/s
Corect
# 6 workeri × 100 de mesaje/s = 600/s
# autoscalare după vechimea celui mai vechi mesaj

Capacitatea consumatorilor trebuie să fie peste rata medie de intrare, cu rezervă pentru recuperare după vârfuri.

2Kafka: mai mulți consumatori decât partiții

Greșit
# topic cu 3 partiții, 10 consumatori în grup -> 7 stau degeaba
Corect
kafka-topics.sh --alter --topic comenzi --partitions 12

Într-un grup, o partiție e citită de un singur consumator; numărul de partiții limitează paralelismul.

Repară tu

Repară eroarea, direct în pagină

Coada de comenzi primește 400 de mesaje pe secundă, dar cei 2 workeri procesează doar 200: mesajele se adună și emailurile pleacă cu ore întârziere. Dă workerilor destulă capacitate ca să țină pasul, cu toate componentele sub 80%.

Indiciu

Un worker procesează 100 de joburi pe secundă.

Alte forme ale mesajului

  • ApproximateAgeOfOldestMessage în creștere (SQS)
  • Consumer lag increasing (Kafka)
  • RabbitMQ: messages ready în creștere continuă

Cum o eviți pe viitor

  • Monitorizează vechimea celui mai vechi mesaj și alertează pe ea.
  • Dimensionează consumatorii pentru rata medie plus recuperarea după vârf.
  • Scalează consumatorii după lungimea sau vechimea cozii.
  • În Kafka, planifică suficiente partiții pentru paralelismul dorit.

Întrebări frecvente

Cum calculez câți workeri îmi trebuie?

Rata de intrare împărțită la câte mesaje procesează un worker pe secundă, plus rezervă. La 400 de mesaje/s și 100/s per worker, minimum 4, iar 6 lasă loc de recuperare.

Coada mare e mereu o problemă?

Nu: după un vârf e normal să crească și apoi să scadă. Problema e creșterea continuă, care arată că sistemul nu ține pasul în medie.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.