0/3 nodes are available: 2 Insufficient cpu, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod.
Niciun nod nu are destul CPU nerezervat pentru requests.cpu al podului, așa că podul rămâne Pending. Coboară requests.cpu la cât folosește aplicația de fapt (de exemplu 500m), eliberează resurse sau adaugă noduri.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Scheduler-ul pune un pod doar pe un nod care are încă destul CPU nerezervat, adică alocabil minus suma requests.cpu ale podurilor deja programate acolo. Consumul real nu contează, doar rezervările. Mesajul rezumă motivul pentru fiecare nod: 2 Insufficient cpu (cele două noduri de lucru nu au loc) și taint-ul nodului de control (pe care podurile obișnuite nu ajung oricum).
Cauze tipice: requests prea mari (cpu: 3 pe noduri de 2 nuclee nu încape niciodată), multe replici care împreună umplu nodurile, sau confuzia între nuclee și milinuclee (cpu: 500 înseamnă 500 de nuclee, nu 500m).
Dacă podul încape în principiu, dar nodurile sunt pline, el pornește când se eliberează loc; un pod care cere mai mult decât are cel mai mare nod nu pornește niciodată. Partea cu preemption spune că nici evacuarea altor poduri cu prioritate mai mică nu ar ajuta.
De ce apare: cauzele frecvente
1Requests mai mari decât un nod întreg
requests:
cpu: "3" # nodurile au 2 nuclee requests:
cpu: 500mUn pod nu se poate împărți pe mai multe noduri.
2Milinucleele uitate
cpu: 500 cpu: 500mFără m, valoarea înseamnă 500 de nuclee.
3Prea multe replici pentru cluster
kubectl scale deploy api --replicas=20kubectl top nodes
kubectl scale deploy api --replicas=6Suma rezervărilor trebuie să încapă în capacitatea nodurilor.
Repară eroarea, direct în pagină
Podul serviciului de facturare al unei firme de curierat (facturare) stă în Pending. Citește evenimentul FailedScheduling, compară CPU-ul cerut cu cel al nodurilor și coboară requests.cpu la 500m în ~/k8s/facturare.yaml, apoi aplică fișierul.
Indiciu
kubectl describe pod arată motivul; kubectl get nodes -o custom-columns=NOD:.metadata.name,CPU:.status.allocatable.cpu arată capacitatea.
Reparația
Motivul și capacitatea nodurilor:
kubectl get pods -l app=facturare
kubectl describe pod -l app=facturare | grep FailedScheduling | tail -1
kubectl get nodes -o custom-columns=NOD:.metadata.name,CPU:.status.allocatable.cpuNAME READY STATUS RESTARTS AGE
facturare-w8m2m8qh9s-5t8x6 0/1 Pending 0 18s
Warning FailedScheduling 20s default-scheduler 0/3 nodes are available: 2 Insufficient cpu, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod.
NOD CPU
academia-control-plane 2
academia-worker 2
academia-worker2 2Requests realist:
sed -i 's/cpu: "3"/cpu: 500m/' facturare.yaml
kubectl apply -f facturare.yaml
kubectl rollout status deploy/facturaredeployment.apps/facturare configured
Waiting for deployment "facturare" rollout to finish: 0 of 1 updated replicas are available...
deployment "facturare" successfully rolled outDe ce merge
Nodurile de lucru au câte 2 nuclee alocabile, iar podul cere 3, deci nu încape pe niciunul, oricât ai aștepta. Scheduler-ul se uită doar la rezervări. Cu 500m, podul încape lejer, iar scheduler-ul îl programează imediat după ce Deploymentul creează podul nou.
Alte forme ale mesajului
0/3 nodes are available: 1 Insufficient cpu, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }, 1 node(s) were unschedulable.
Cum o eviți pe viitor
- Măsoară consumul real (
kubectl top pods) și pune requests aproape de el. - Verifică cât CPU mai e liber:
kubectl describe nodes(secțiunea Allocated resources). - Scrie CPU-ul mereu în milinuclee (
250m,500m), ca să nu confunzi unitățile. - Pentru trafic variabil, folosește HPA în loc de multe replici fixe.
Întrebări frecvente
De ce podul e Pending deși nodurile sunt aproape libere?
Pentru că scheduler-ul se uită la rezervări (requests), nu la consum. Podurile existente pot rezerva mult și folosi puțin.
Ce înseamnă partea cu preemption?
Scheduler-ul a verificat dacă ar putea face loc evacuând poduri cu prioritate mai mică. Mesajul spune că nu ar ajuta sau că nu există astfel de poduri.
Erori înrudite
0/3 nodes are available: 2 Insufficient memory, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod. Nodurile nu mai au destulă memorie nerezervată pentru requests.memory al podului. Fie podul cere mai mult decât încape pe un nod, fie replicile împreună au umplut nodurile. Coboară requests.memory la necesarul real sau redu numărul de replici. 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: } Nodul de control are taint-ul node-role.kubernetes.io/control-plane:NoSchedule, deci podurile obișnuite nu ajung pe el; e normal ca linia să apară în orice FailedScheduling. Dacă vrei un pod (de exemplu agentul unui DaemonSet) și pe nodul de control, adaugă o toleranță pentru acest taint. Error creating: pods "cautare-6c7d8f9b5-x2kq9" is forbidden: exceeded quota: echipa-cota, requested: requests.cpu=500m, used: requests.cpu=1, limited: requests.cpu=1 Crearea podului ar depăși cota namespace-ului: ce ceri (requested) plus ce e deja folosit (used) trece de limită (limited). Redu requests-ul podurilor, numărul de replici sau mărește cota, după caz. Învață Kubernetes de la zero, cu exerciții la fiecare lecție
Curs Kubernetes: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 12 lecții sunt gratuite.
