Warning BackoffLimitExceeded job-controller Job has reached the specified backoff limit
Podurile Jobului au eșuat de mai multe ori decât permite backoffLimit (implicit 6), așa că Jobul s-a oprit cu statusul Failed. Citește jurnalul unui pod eșuat, corectează cauza și creează Jobul din nou (un Job eșuat nu se repornește).
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Un Job reîncearcă podurile eșuate, cu pauze din ce în ce mai lungi (10 s, 20 s, 40 s...). După backoffLimit eșecuri, se oprește: condiția Failed cu motivul BackoffLimitExceeded, iar kubectl get job arată Failed și 0/1.
Mesajul nu spune de ce au eșuat podurile. Pentru asta citești jurnalul unui pod eșuat (kubectl logs job/NUME sau kubectl logs POD): o comandă greșită, un fișier lipsă, o bază de date indisponibilă, un argument invalid. Cu restartPolicy: Never podurile eșuate rămân și le poți inspecta.
Un Job eșuat nu se mai repornește, iar șablonul lui e imutabil. După corectare îl ștergi și îl creezi din nou (sau cu alt nume).
De ce apare: cauzele frecvente
1Comandă greșită
-- sh -c 'wc -l /etc/paswd'-- sh -c 'wc -l /etc/passwd'Jurnalul arată fișierul inexistent.
2Dependență indisponibilă
# jobul pornește înaintea bazei de date# init container care așteaptă baza de dateJobul nu reîncearcă la infinit, deci dependențele trebuie să fie gata.
3Repornești Jobul eșuat
kubectl apply -f job.yaml # job eșuat, șablon schimbatkubectl delete job import
kubectl apply -f job.yamlȘablonul e imutabil; Jobul se recreează.
Repară eroarea, direct în pagină
Jobul numara al unui hotel (busybox:1.36, backoffLimit: 2) trebuia să numere liniile din /etc/passwd, dar are statusul Failed cu BackoffLimitExceeded. Citește jurnalul, corectează calea și creează Jobul din nou cu același nume, ca să termine cu succes.
Indiciu
kubectl logs job/numara; Jobul se șterge și se creează din nou.
Reparația
Starea și jurnalul:
kubectl get job numara
kubectl logs job/numaraNAME STATUS COMPLETIONS DURATION AGE
numara Failed 0/1 33s 3m24s
Found 3 pods, using pod/numara-xzz4v
wc: /etc/paswd: No such file or directoryCalea corectă:
sed -i 's#/etc/paswd#/etc/passwd#' numara.yaml
kubectl delete job numara
kubectl apply -f numara.yaml
kubectl wait --for=condition=complete job/numara --timeout=60s
kubectl logs job/numarajob.batch "numara" deleted
job.batch/numara created
job.batch/numara condition met
2 /etc/passwdDe ce merge
Comanda cerea /etc/paswd, care nu există, deci fiecare pod ieșea cu eroare, iar după 2 reîncercări Jobul s-a oprit. Jurnalul arată exact fișierul lipsă. Un Job eșuat nu se repornește, așa că îl ștergi și îl creezi cu /etc/passwd, iar noul pod termină cu succes.
Alte forme ale mesajului
Job has reached the specified backoff limitBackoffLimitExceeded
Cum o eviți pe viitor
- Folosește
restartPolicy: Neverca să păstrezi podurile eșuate pentru jurnale. - Testează comanda jobului într-un pod temporar (
kubectl run --rm -it) înainte de Job. - Setează
backoffLimitdupă natura jobului: mic pentru erori permanente, mai mare pentru erori de rețea. - Pune
ttlSecondsAfterFinishedca joburile vechi să fie curățate automat.
Întrebări frecvente
Cum văd jurnalul unei încercări anume?
kubectl get pods -l job-name=NUME listează podurile, iar kubectl logs POD arată jurnalul fiecăruia.
Pot reporni un Job eșuat?
Nu direct. Îl ștergi și îl creezi din nou; la un CronJob, poți crea un Job nou cu kubectl create job --from=cronjob/NUME.
Erori înrudite
error: timed out waiting for the condition on jobs/export kubectl wait (sau rollout status --timeout) a așteptat cât i-ai cerut, iar condiția nu a fost îndeplinită. Fie timpul e prea scurt pentru operație, fie obiectul nu va ajunge niciodată în starea așteptată: verifică podurile și jurnalele înainte să mărești timpul. The Job "import" is invalid: spec.template: Invalid value: core.PodTemplateSpec{...}: field is immutable Șablonul podului unui Job nu se mai poate modifica după creare. Ca să rulezi Job-ul cu altă comandă sau imagine, șterge-l și creează-l din nou (kubectl delete job, apoi apply), sau dă-i alt nume la fiecare rulare. Warning DeadlineExceeded job-controller Job was active longer than specified deadline Jobul a rulat mai mult decât activeDeadlineSeconds, așa că Kubernetes i-a oprit podurile și l-a marcat Failed. Mărește activeDeadlineSeconds după durata reală a jobului (sau află de ce durează neobișnuit de mult) și creează Jobul din nou. Învață Kubernetes de la zero, cu exerciții la fiecare lecție
Curs Kubernetes: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 12 lecții sunt gratuite.
