...
Eroare System Design · Cozi de mesaje și procesare asincronă

CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member.

Pe scurt

Consumatorul Kafka a lucrat prea mult între două apeluri `poll()` (peste `max.poll.interval.ms`), a fost scos din grup, iar partițiile lui au fost date altui consumator, deci commit-ul nu mai e acceptat și mesajele vor fi procesate din nou. Ia loturi mai mici, fă procesarea mai rapidă și consumatorul idempotent.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Un consumator dintr-un grup Kafka trebuie să apeleze poll() regulat. Dacă între două apeluri trece mai mult de max.poll.interval.ms (implicit 5 minute), coordonatorul consideră că s-a blocat, îl scoate din grup și redistribuie partițiile (rebalance). Când consumatorul termină și încearcă să facă commit, primește CommitFailedException, iar mesajele lui vor fi procesate și de noul proprietar al partiției.

Cauza tipică: un lot mare (max.poll.records, implicit 500) în care fiecare mesaj face un apel lent (HTTP extern, interogare grea). 500 × 1 secundă depășește 5 minute. Simptomele: rebalance-uri dese, consumer lag care crește, mesaje procesate de mai multe ori, loguri cu Member ... sending LeaveGroup request to coordinator ... due to consumer poll timeout has expired.

Soluțiile: loturi mai mici, procesare mai rapidă sau paralelă în lot, max.poll.interval.ms ales după durata reală, iar consumatorul idempotent, pentru că relivrarea după rebalance e normală.

De ce apare: cauzele frecvente

1Lot mare cu apel lent pentru fiecare mesaj

Greșit
max.poll.records=500
# fiecare mesaj: apel HTTP de ~1 s -> 500 s pe lot (> 300 s)
Corect
max.poll.records=50
max.poll.interval.ms=300000
# 50 × 1 s = 50 s pe lot

Lotul se termină mult înainte de limită, deci consumatorul rămâne în grup.

2Commit automat combinat cu procesare lungă

Greșit
enable.auto.commit=true
Corect
enable.auto.commit=false
// după procesarea lotului:
consumer.commitSync();

Commit-ul explicit după procesare face clar ce s-a terminat; combinat cu idempotența, relivrarea e inofensivă.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre CommitFailedException într-un consumator Kafka.

Indiciu

Cât durează procesarea unui lot comparativ cu max.poll.interval.ms?

Alte forme ale mesajului

  • Member consumer-1 sending LeaveGroup request to coordinator due to consumer poll timeout has expired.
  • Offset commit cannot be completed since the consumer is not part of an active group for auto partition assignment

Cum o eviți pe viitor

  • Măsoară durata procesării unui lot și ține-o mult sub max.poll.interval.ms.
  • Folosește loturi mai mici când procesarea per mesaj e lentă.
  • Fă consumatorii idempotenți.
  • Urmărește numărul de rebalance-uri și consumer lag-ul.

Întrebări frecvente

Ce e un rebalance?

Redistribuirea partițiilor între consumatorii unui grup, când unul intră, iese sau e considerat mort. În timpul ei, consumul se oprește pe scurt.

Ajută session.timeout.ms?

Acela verifică heartbeat-urile trimise de un thread separat. Problema de aici e intervalul dintre poll()-uri, controlat de max.poll.interval.ms.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.