CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member.
Consumatorul Kafka a lucrat prea mult între două apeluri `poll()` (peste `max.poll.interval.ms`), a fost scos din grup, iar partițiile lui au fost date altui consumator, deci commit-ul nu mai e acceptat și mesajele vor fi procesate din nou. Ia loturi mai mici, fă procesarea mai rapidă și consumatorul idempotent.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Un consumator dintr-un grup Kafka trebuie să apeleze poll() regulat. Dacă între două apeluri trece mai mult de max.poll.interval.ms (implicit 5 minute), coordonatorul consideră că s-a blocat, îl scoate din grup și redistribuie partițiile (rebalance). Când consumatorul termină și încearcă să facă commit, primește CommitFailedException, iar mesajele lui vor fi procesate și de noul proprietar al partiției.
Cauza tipică: un lot mare (max.poll.records, implicit 500) în care fiecare mesaj face un apel lent (HTTP extern, interogare grea). 500 × 1 secundă depășește 5 minute. Simptomele: rebalance-uri dese, consumer lag care crește, mesaje procesate de mai multe ori, loguri cu Member ... sending LeaveGroup request to coordinator ... due to consumer poll timeout has expired.
Soluțiile: loturi mai mici, procesare mai rapidă sau paralelă în lot, max.poll.interval.ms ales după durata reală, iar consumatorul idempotent, pentru că relivrarea după rebalance e normală.
De ce apare: cauzele frecvente
1Lot mare cu apel lent pentru fiecare mesaj
max.poll.records=500
# fiecare mesaj: apel HTTP de ~1 s -> 500 s pe lot (> 300 s)max.poll.records=50
max.poll.interval.ms=300000
# 50 × 1 s = 50 s pe lotLotul se termină mult înainte de limită, deci consumatorul rămâne în grup.
2Commit automat combinat cu procesare lungă
enable.auto.commit=trueenable.auto.commit=false
// după procesarea lotului:
consumer.commitSync();Commit-ul explicit după procesare face clar ce s-a terminat; combinat cu idempotența, relivrarea e inofensivă.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre CommitFailedException într-un consumator Kafka.
Indiciu
Cât durează procesarea unui lot comparativ cu max.poll.interval.ms?
Reparația
- q1: Consumatorul a procesat prea mult între două
poll()și a fost scos din grup. - q2:
max.poll.recordsmai mic,max.poll.interval.mspotrivit, procesare mai rapidă. - q3: Adevărat.
De ce merge
Consumatorul a fost scos din grup pentru că lotul a durat prea mult. Loturile mai mici și procesarea mai rapidă îl țin în grup, iar idempotența acoperă relivrările de după rebalance.
Alte forme ale mesajului
Member consumer-1 sending LeaveGroup request to coordinator due to consumer poll timeout has expired.Offset commit cannot be completed since the consumer is not part of an active group for auto partition assignment
Cum o eviți pe viitor
- Măsoară durata procesării unui lot și ține-o mult sub
max.poll.interval.ms. - Folosește loturi mai mici când procesarea per mesaj e lentă.
- Fă consumatorii idempotenți.
- Urmărește numărul de rebalance-uri și consumer lag-ul.
Întrebări frecvente
Ce e un rebalance?
Redistribuirea partițiilor între consumatorii unui grup, când unul intră, iese sau e considerat mort. În timpul ei, consumul se oprește pe scurt.
Ajută session.timeout.ms?
Acela verifică heartbeat-urile trimise de un thread separat. Problema de aici e intervalul dintre poll()-uri, controlat de max.poll.interval.ms.
Erori înrudite
Coada crește continuu (consumer lag / backlog): mesajele se procesează cu ore întârziere Mesajele intră în coadă mai repede decât le pot procesa consumatorii, deci numărul lor (și vechimea celui mai vechi) crește fără oprire. Adaugă consumatori (workeri) sau fă procesarea mai rapidă, și scalează după lungimea cozii, nu după CPU. Același mesaj procesat de două ori (clientul primește două SMS-uri / e taxat de două ori) Cozile garantează de obicei livrarea „cel puțin o dată” (at-least-once): după un timeout, o eroare sau o reîncercare, același mesaj poate ajunge de două ori la consumator. Fă procesarea idempotentă: salvează id-ul mesajului procesat și ignoră duplicatele, sau folosește chei de idempotență la apelurile externe. Mesajele ajung în altă ordine decât au fost trimise (comanda apare plătită după ce a fost anulată) Cozile cu mai mulți consumatori, reîncercările și partițiile multiple nu păstrează ordinea globală, deci evenimentele aceleiași entități pot fi procesate invers. Păstrează ordinea acolo unde contează (cheie de partiție = id-ul entității, FIFO cu grup de mesaje) și adaugă versiuni, ca un eveniment vechi să fie ignorat. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
