error when evicting pods/"plati-7c9f8d6b4-x2kq9" -n "default" (will retry after 5s): Cannot evict pod as it would violate the pod's disruption budget.
Un PodDisruptionBudget cere ca un anumit număr de replici să rămână disponibile, iar evacuarea podului ar coborî sub prag, așa că drain reîncearcă la nesfârșit. Mărește temporar numărul de replici (ca să existe rezervă) sau ajustează PDB-ul; nu-l șterge doar ca să treacă drain-ul.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Un PodDisruptionBudget (PDB) limitează întreruperile voluntare: cu minAvailable: 2 și exact 2 replici, nicio replică nu poate fi evacuată, pentru că ar rămâne una singură. Drain folosește API-ul de evacuare, care respectă PDB-ul, așa că încearcă la fiecare 5 secunde, fără succes, până expiră --timeout.
Situația e clasică: PDB-ul e prea strict pentru numărul de replici (minAvailable egal cu replicas, sau maxUnavailable: 0). Atunci niciun nod cu o replică nu poate fi golit vreodată.
Soluții: scalezi aplicația cu o replică în plus, ca evacuarea să lase destule poduri disponibile (podul nou pornește pe alt nod), sau schimbi PDB-ul la o valoare care permite o întrerupere (maxUnavailable: 1). Ștergerea PDB-ului merge, dar anulează protecția.
De ce apare: cauzele frecvente
1minAvailable egal cu replicile
kubectl create pdb plati-pdb --selector=app=plati --min-available=2
# Deploymentul are 2 replicikubectl scale deploy plati --replicas=3
kubectl drain academia-worker --ignore-daemonsetsCu 3 replici, una poate fi evacuată și tot rămân 2 disponibile.
2PDB prea strict pe termen lung
spec:
minAvailable: 2 # replicas: 2spec:
maxUnavailable: 1maxUnavailable: 1 permite mereu o întrerupere, indiferent de numărul de replici.
3Ștergi PDB-ul ca să treacă drain-ul
kubectl delete pdb plati-pdbkubectl scale deploy plati --replicas=3Fără PDB, drain poate opri toate replicile aplicației deodată.
Repară eroarea, direct în pagină
Serviciul de plăți al unui magazin online (plati, 2 replici) are un PodDisruptionBudget cu minAvailable: 2, iar drain-ul nodului academia-worker se blochează cu Cannot evict pod. Fără să ștergi sau să modifici PDB-ul, golește nodul: scalează întâi aplicația la 3 replici, apoi rulează drain.
Indiciu
Cu o replică în plus, evacuarea uneia lasă tot 2 disponibile.
Reparația
Drain blocat:
kubectl drain academia-worker --ignore-daemonsets --timeout=12s 2>&1 | grep -m1 'disruption budget' || trueerror when evicting pods/"plati-86454822f5-vqnxt" -n "default" (will retry after 5s): Cannot evict pod as it would violate the pod's disruption budget.O replică în plus, apoi drain:
kubectl scale deploy plati --replicas=3
kubectl rollout status deploy/plati
kubectl drain academia-worker --ignore-daemonsets --timeout=60s
kubectl get pods -l app=plati -o widedeployment.apps/plati scaled
Waiting for deployment "plati" rollout to finish: 2 of 3 updated replicas are available...
deployment "plati" successfully rolled out
node/academia-worker already cordoned
Warning: ignoring DaemonSet-managed Pods: kube-system/kindnet-jktsv, kube-system/kube-proxy-smf5m
evicting pod default/plati-86454822f5-vqnxt
pod/plati-86454822f5-vqnxt evicted
node/academia-worker drained
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
plati-86454822f5-5kf7m 1/1 Running 0 7s 10.244.2.4 academia-worker2 <none> <none>
plati-86454822f5-dl9f7 1/1 Running 0 42s 10.244.2.2 academia-worker2 <none> <none>
plati-86454822f5-p4jx7 1/1 Running 0 2s 10.244.2.5 academia-worker2 <none> <none>De ce merge
Cu 2 replici și minAvailable: 2, orice evacuare ar încălca bugetul, deci drain reîncearcă la nesfârșit. A treia replică pornește pe alt nod, iar evacuarea podului de pe academia-worker lasă tot cel puțin 2 replici disponibile. PDB-ul rămâne și protejează aplicația și la mentenanțele următoare.
Alte forme ale mesajului
There are pending pods in node "academia-worker" when an error occurred: [error when evicting pods/"plati-..." -n "default": global timeout reached: 15s]
Cum o eviți pe viitor
- Alege PDB-ul în funcție de replici:
maxUnavailable: 1e o valoare sigură pentru majoritatea aplicațiilor. - Nu pune
minAvailableegal cureplicas. - Rulează aplicațiile critice cu cel puțin 3 replici, pe noduri diferite.
- Dă un
--timeoutla drain, ca să afli repede dacă un PDB blochează mentenanța.
Întrebări frecvente
PDB-ul protejează și la căderea unui nod?
Nu. PDB-ul limitează doar întreruperile voluntare (drain, evacuări prin API). Căderea unui nod nu întreabă pe nimeni.
De ce drain-ul nu se oprește singur?
Pentru că presupune că situația se poate rezolva (de exemplu o replică nouă devine gata). Fără --timeout, încearcă la nesfârșit.
Erori înrudite
0/3 nodes are available: 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }, 2 node(s) were unschedulable. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod. Nodurile de lucru sunt marcate unschedulable (după kubectl cordon sau drain), deci nu primesc poduri noi. Dacă mentenanța s-a terminat, rulează kubectl uncordon NOD; statusul nodului arată SchedulingDisabled. error: unable to drain node "academia-worker" due to error: cannot delete DaemonSet-managed Pods (use --ignore-daemonsets to ignore): kube-system/kindnet-jktsv, kube-system/kube-proxy-smf5m kubectl drain nu evacuează podurile DaemonSet-urilor (ar fi recreate imediat pe același nod) și se oprește dacă nu-i spui explicit să le ignore. Rulează drain cu --ignore-daemonsets; nodul e deja cordonat de prima încercare. error: timed out waiting for the condition on jobs/export kubectl wait (sau rollout status --timeout) a așteptat cât i-ai cerut, iar condiția nu a fost îndeplinită. Fie timpul e prea scurt pentru operație, fie obiectul nu va ajunge niciodată în starea așteptată: verifică podurile și jurnalele înainte să mărești timpul. Învață Kubernetes de la zero, cu exerciții la fiecare lecție
Curs Kubernetes: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 12 lecții sunt gratuite.
