Warning DeadlineExceeded job-controller Job was active longer than specified deadline
Jobul a rulat mai mult decât activeDeadlineSeconds, așa că Kubernetes i-a oprit podurile și l-a marcat Failed. Mărește activeDeadlineSeconds după durata reală a jobului (sau află de ce durează neobișnuit de mult) și creează Jobul din nou.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
activeDeadlineSeconds e o limită de timp pentru întregul Job, indiferent de reîncercări. Când expiră, controllerul oprește toate podurile active și marchează Jobul Failed cu motivul DeadlineExceeded. E util pentru joburi care s-ar putea bloca, dar o valoare prea mică oprește și joburile sănătoase.
Semnul tipic: podurile au fost oprite în timp ce lucrau, jurnalul se termină brusc, fără eroare, iar evenimentul Jobului spune Job was active longer than specified deadline. Timpul include și descărcarea imaginii și programarea podului, nu doar rularea programului.
Limita are prioritate față de backoffLimit: dacă expiră, Jobul nu mai reîncearcă.
De ce apare: cauzele frecvente
1Limită mai mică decât durata normală
spec:
activeDeadlineSeconds: 3spec:
activeDeadlineSeconds: 300Limita trebuie să acopere durata normală plus o rezervă.
2Jobul chiar s-a blocat
# raportul durează de obicei 1 min, acum 30 minkubectl logs job/raport # caută unde s-a opritLimita a făcut ce trebuia; cauza e în aplicație.
Repară eroarea, direct în pagină
Jobul raport al unui lanț de cofetării (academia/raport:1.0) are activeDeadlineSeconds: 3 și e oprit înainte să termine, cu DeadlineExceeded. Raportul durează normal câteva secunde. Schimbă limita la 120 în ~/k8s/raport.yaml, creează Jobul din nou și verifică faptul că termină.
Indiciu
Jobul eșuat se șterge, apoi se aplică fișierul corectat.
Reparația
Starea și motivul:
kubectl get job raport
kubectl describe job raport | grep DeadlineExceededNAME STATUS COMPLETIONS DURATION AGE
raport Failed 0/1 4s 34s
Warning DeadlineExceeded 31s job-controller Job was active longer than specified deadlineLimită realistă:
sed -i 's/activeDeadlineSeconds: 3/activeDeadlineSeconds: 120/' raport.yaml
kubectl delete job raport
kubectl apply -f raport.yaml
kubectl wait --for=condition=complete job/raport --timeout=120sjob.batch "raport" deleted
job.batch/raport created
job.batch/raport condition metDe ce merge
Limita de 3 secunde include descărcarea imaginii și pornirea podului, deci raportul era oprit înainte să termine. Cu 120 de secunde, jobul are timp să ruleze complet, iar limita rămâne o protecție dacă raportul se blochează vreodată. Jobul eșuat a fost recreat, pentru că nu se repornește singur.
Alte forme ale mesajului
DeadlineExceededJob was active longer than specified deadline
Cum o eviți pe viitor
- Măsoară durata reală a jobului în mai multe rulări și pune o limită de 2-3 ori mai mare.
- Ține cont de timpul de descărcare a imaginii la prima rulare pe un nod.
- Combină
activeDeadlineSecondscu alerte, ca să afli când un job se blochează. - La CronJob-uri, folosește și
startingDeadlineSecondspentru rulările întârziate.
Întrebări frecvente
Care e diferența față de backoffLimit?
backoffLimit numără eșecurile; activeDeadlineSeconds măsoară timpul total. Oricare se atinge primul oprește Jobul.
Pot schimba limita unui Job pornit?
Da, activeDeadlineSeconds se poate modifica, dar pentru un Job deja eșuat e mai simplu să-l creezi din nou.
Erori înrudite
Warning BackoffLimitExceeded job-controller Job has reached the specified backoff limit Podurile Jobului au eșuat de mai multe ori decât permite backoffLimit (implicit 6), așa că Jobul s-a oprit cu statusul Failed. Citește jurnalul unui pod eșuat, corectează cauza și creează Jobul din nou (un Job eșuat nu se repornește). error: timed out waiting for the condition on jobs/export kubectl wait (sau rollout status --timeout) a așteptat cât i-ai cerut, iar condiția nu a fost îndeplinită. Fie timpul e prea scurt pentru operație, fie obiectul nu va ajunge niciodată în starea așteptată: verifică podurile și jurnalele înainte să mărești timpul. The Job "import" is invalid: spec.template: Invalid value: core.PodTemplateSpec{...}: field is immutable Șablonul podului unui Job nu se mai poate modifica după creare. Ca să rulezi Job-ul cu altă comandă sau imagine, șterge-l și creează-l din nou (kubectl delete job, apoi apply), sau dă-i alt nume la fiecare rulare. Învață Kubernetes de la zero, cu exerciții la fiecare lecție
Curs Kubernetes: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 12 lecții sunt gratuite.
