Coada crește continuu (consumer lag / backlog): mesajele se procesează cu ore întârziere
Mesajele intră în coadă mai repede decât le pot procesa consumatorii, deci numărul lor (și vechimea celui mai vechi) crește fără oprire. Adaugă consumatori (workeri) sau fă procesarea mai rapidă, și scalează după lungimea cozii, nu după CPU.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
O coadă absoarbe vârfurile: dacă timp de 10 minute intră mai multe mesaje decât se procesează, ele așteaptă și sunt preluate după. Asta e în regulă cât timp, în medie, consumatorii țin pasul. Când rata de intrare depășește constant capacitatea lor, coada crește la nesfârșit: emailurile de confirmare pleacă după ore, rapoartele nu se mai generează, iar în final coada atinge limitele brokerului (memorie, disc, retenție) și mesajele încep să se piardă.
În Kafka se măsoară consumer lag (diferența dintre ultimul offset scris și cel procesat), în SQS ApproximateNumberOfMessagesVisible și ApproximateAgeOfOldestMessage, în RabbitMQ numărul de mesaje ready. Cel mai util semnal e vechimea celui mai vechi mesaj: spune direct cât de în urmă e sistemul.
Soluții: mai mulți consumatori (în Kafka limitați de numărul de partiții), procesare mai rapidă (loturi, mai puține apeluri externe), separarea mesajelor urgente de cele lente în cozi diferite.
De ce apare: cauzele frecvente
1Prea puțini consumatori pentru rata de intrare
# 400 de mesaje/s intră
# 2 workeri × 100 de mesaje/s = 200/s -> coada crește cu 200/s# 6 workeri × 100 de mesaje/s = 600/s
# autoscalare după vechimea celui mai vechi mesajCapacitatea consumatorilor trebuie să fie peste rata medie de intrare, cu rezervă pentru recuperare după vârfuri.
2Kafka: mai mulți consumatori decât partiții
# topic cu 3 partiții, 10 consumatori în grup -> 7 stau degeabakafka-topics.sh --alter --topic comenzi --partitions 12Într-un grup, o partiție e citită de un singur consumator; numărul de partiții limitează paralelismul.
Repară eroarea, direct în pagină
Coada de comenzi primește 400 de mesaje pe secundă, dar cei 2 workeri procesează doar 200: mesajele se adună și emailurile pleacă cu ore întârziere. Dă workerilor destulă capacitate ca să țină pasul, cu toate componentele sub 80%.
Indiciu
Un worker procesează 100 de joburi pe secundă.
Reparația
1. Atinge Workeri. 2. Instanțe = 6.
Rezultat: 600 de joburi/s capacitate, încărcare ~67%.
De ce merge
Doi workeri procesau 200 de mesaje pe secundă din 400, deci coada creștea cu 200 în fiecare secundă. Cu 6 workeri (600/s), încărcarea scade la ~67%, iar coada se golește după vârfuri.
Alte forme ale mesajului
ApproximateAgeOfOldestMessage în creștere (SQS)Consumer lag increasing (Kafka)RabbitMQ: messages ready în creștere continuă
Cum o eviți pe viitor
- Monitorizează vechimea celui mai vechi mesaj și alertează pe ea.
- Dimensionează consumatorii pentru rata medie plus recuperarea după vârf.
- Scalează consumatorii după lungimea sau vechimea cozii.
- În Kafka, planifică suficiente partiții pentru paralelismul dorit.
Întrebări frecvente
Cum calculez câți workeri îmi trebuie?
Rata de intrare împărțită la câte mesaje procesează un worker pe secundă, plus rezervă. La 400 de mesaje/s și 100/s per worker, minimum 4, iar 6 lasă loc de recuperare.
Coada mare e mereu o problemă?
Nu: după un vârf e normal să crească și apoi să scadă. Problema e creșterea continuă, care arată că sistemul nu ține pasul în medie.
Erori înrudite
Mesajele stau în coadă și nu le procesează nimeni (niciun consumator conectat) Producătorul publică mesaje, dar niciun consumator nu e abonat la coadă (worker oprit, nume de coadă greșit, binding lipsă), deci mesajele se adună sau, într-un exchange fără coadă, se pierd. Pornește workerii și verifică că ascultă exact coada (sau topicul) în care publici. 429 Too Many Requests de la API-ul unui furnizor extern (SMS, plăți, email) Furnizorul extern are o limită de cereri pe secundă pe contul tău, iar aplicația ta (adesea mai multe instanțe sau workeri împreună) o depășește. Pune un limitator comun în fața apelurilor, respectă `Retry-After`, folosește o coadă ca tampon și trimite în loturi unde se poate. Autoscalarea nu ține pasul cu vârful de trafic (instanțele ajung la maxim, cererile tot se pierd) Grupul de autoscalare a ajuns la numărul maxim de instanțe sau pornește instanțe noi prea încet, iar la vârf serverele rămân supraîncărcate. Ridică limita maximă la cât cere vârful real, scalează după o metrică care reacționează devreme și ține un minim care acoperă creșterea bruscă. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
