0/3 nodes are available: 2 node(s) had untolerated taint {dedicat: gpu}, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod.
Nodurile au un taint (aici dedicat=gpu:NoSchedule) pe care podul nu îl tolerează, deci nu poate fi programat. Fie adaugi podului o toleranță pentru taint, dacă are voie pe acele noduri, fie scoți taint-ul de pe noduri, dacă nu mai e necesar.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Taint-urile marchează noduri rezervate: kubectl taint nodes NOD cheie=valoare:NoSchedule respinge orice pod nou care nu are o toleranță potrivită. Mesajul arată cheia și valoarea între acolade ({dedicat: gpu}) și pe câte noduri.
Situații tipice: o echipă a rezervat nodurile pentru o aplicație specială și au rămas taint-uite după ce nu mai era nevoie; aplicația ta chiar trebuie să ruleze pe acele noduri, dar îi lipsește toleranța; un nod are taint-uri automate (node.kubernetes.io/not-ready, disk-pressure, unreachable) puse de cluster când are probleme.
Toleranța trebuie să se potrivească: aceeași cheie, același efect și fie aceeași valoare (operator: Equal), fie operator: Exists. Taint-urile NoSchedule nu afectează podurile care rulează deja.
De ce apare: cauzele frecvente
1Podul trebuie să ruleze pe nodurile rezervate
spec:
containers: ... spec:
tolerations:
- key: dedicat
operator: Equal
value: gpu
effect: NoSchedule
containers: ...Toleranța potrivită permite programarea pe nodurile cu taint.
2Taint rămas după o rezervare veche
kubectl taint nodes academia-worker dedicat=gpu:NoSchedulekubectl taint nodes academia-worker dedicat-Cheia urmată de minus scoate taint-ul.
3Valoare diferită în toleranță
- key: dedicat
value: GPU - key: dedicat
value: gpuCu operator Equal, valoarea trebuie să fie identică.
Repară eroarea, direct în pagină
Ambele noduri de lucru au fost rezervate pentru calcule grafice cu taint-ul dedicat=gpu:NoSchedule, iar serviciul randare al unui studio de animație (care chiar trebuie să ruleze acolo) stă în Pending. Citește motivul și adaugă în Deployment o toleranță pentru dedicat=gpu cu efectul NoSchedule.
Indiciu
Toleranța stă în spec.template.spec.tolerations; un kubectl patch pe Deployment ajunge.
Reparația
Motivul:
kubectl get pods -l app=randare
kubectl describe pod -l app=randare | grep FailedScheduling | tail -1NAME READY STATUS RESTARTS AGE
randare-xfhd66qqs7-4fqvz 0/1 Pending 0 18s
Warning FailedScheduling 20s default-scheduler 0/3 nodes are available: 2 node(s) had untolerated taint {dedicat: gpu}, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod.Toleranța:
kubectl patch deployment randare -p '{"spec":{"template":{"spec":{"tolerations":[{"key":"dedicat","operator":"Equal","value":"gpu","effect":"NoSchedule"}]}}}}'
kubectl rollout status deploy/randare
kubectl get pods -l app=randare -o widedeployment.apps/randare patched
Waiting for deployment "randare" rollout to finish: 0 of 1 updated replicas are available...
deployment "randare" successfully rolled out
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
randare-rkzlvzknnj-9h64m 1/1 Running 0 7s 10.244.2.2 academia-worker2 <none> <none>De ce merge
Taint-ul dedicat=gpu:NoSchedule respinge orice pod fără toleranță potrivită, iar nodul de control e rezervat oricum. Toleranța cu aceeași cheie, valoare și efect îi permite podului să fie programat pe nodurile rezervate. Taint-ul rămâne și ține în continuare celelalte aplicații departe.
Alte forme ale mesajului
0/3 nodes are available: 1 node(s) had untolerated taint {node.kubernetes.io/disk-pressure: }, ...node(s) had taint {dedicat: gpu}, that the pod didn't tolerate
Cum o eviți pe viitor
- Documentează taint-urile puse manual și cine le folosește (
kubectl describe nodes | grep Taints). - Folosește taint-uri împreună cu etichete și nodeSelector: taint-ul ține alte poduri departe, selectorul aduce podurile potrivite.
- Verifică taint-urile automate când un nod pare liber, dar nu primește poduri.
Întrebări frecvente
Care e diferența dintre NoSchedule, PreferNoSchedule și NoExecute?
NoSchedule respinge podurile noi. PreferNoSchedule doar evită nodul dacă se poate. NoExecute respinge podurile noi și le evacuează pe cele care rulează deja fără toleranță.
Toleranța trimite podul pe nodul cu taint?
Nu, doar îl lasă să ajungă acolo. Ca să-l trimiți, adaugă un nodeSelector sau o regulă de affinity.
Erori înrudite
1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: } Nodul de control are taint-ul node-role.kubernetes.io/control-plane:NoSchedule, deci podurile obișnuite nu ajung pe el; e normal ca linia să apară în orice FailedScheduling. Dacă vrei un pod (de exemplu agentul unui DaemonSet) și pe nodul de control, adaugă o toleranță pentru acest taint. 0/3 nodes are available: 2 node(s) didn't match Pod's node affinity/selector, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod. Podul are un nodeSelector sau o regulă de nodeAffinity pe care niciun nod nu o îndeplinește (de exemplu disk: ssd, dar niciun nod nu are eticheta). Pune eticheta pe nodul potrivit cu kubectl label nodes sau corectează selectorul din pod. 0/3 nodes are available: 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }, 2 node(s) were unschedulable. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod. Nodurile de lucru sunt marcate unschedulable (după kubectl cordon sau drain), deci nu primesc poduri noi. Dacă mentenanța s-a terminat, rulează kubectl uncordon NOD; statusul nodului arată SchedulingDisabled. Învață Kubernetes de la zero, cu exerciții la fiecare lecție
Curs Kubernetes: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 12 lecții sunt gratuite.
