0/3 nodes are available: 2 Insufficient memory, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod.
Nodurile nu mai au destulă memorie nerezervată pentru requests.memory al podului. Fie podul cere mai mult decât încape pe un nod, fie replicile împreună au umplut nodurile. Coboară requests.memory la necesarul real sau redu numărul de replici.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
La fel ca la CPU, scheduler-ul compară requests.memory al podului cu memoria alocabilă rămasă pe fiecare nod. Dacă niciun nod nu are destulă, podul rămâne Pending, iar evenimentul FailedScheduling spune Insufficient memory și pe câte noduri.
O situație frecventă: primele replici pornesc, iar ultimele rămân Pending. De exemplu, cu noduri de 4 GiB și 3 replici care cer câte 3Gi, încape câte una pe fiecare nod de lucru, iar a treia nu are unde. Deploymentul arată 2/3, fără vreo eroare evidentă la nivelul lui.
Memoria rezervată se vede în kubectl describe node (Allocated resources). Atenție la unități: Gi/Mi, nu G/M amestecate cu m.
De ce apare: cauzele frecvente
1Fiecare replică cere prea mult
requests:
memory: 3Gi # aplicația folosește ~300Mi requests:
memory: 512MiRezervarea mare blochează nodul, deși aplicația nu folosește memoria.
2Requests egal cu o limită foarte mare
requests:
memory: 8Gi
limits:
memory: 8Gi requests:
memory: 512Mi
limits:
memory: 1GiPune requests la consumul obișnuit și limits la vârf.
3Nodurile sunt pline de alte aplicații
kubectl scale deploy raport --replicas=5kubectl describe nodes | grep -A6 'Allocated resources'Uneori trebuie redus consumul altor aplicații sau adăugat un nod.
Repară eroarea, direct în pagină
Deploymentul cautare (căutarea dintr-un magazin de electronice) are 3 replici care cer câte 3Gi de memorie, iar una stă în Pending. Aplicația folosește în realitate sub 300 MiB. Citește motivul și coboară requests.memory la 512Mi în ~/k8s/cautare.yaml, apoi aplică fișierul.
Indiciu
Evenimentul FailedScheduling al podului Pending spune ce lipsește.
Reparația
Replicile și motivul:
kubectl get deploy cautare
kubectl describe pod -l app=cautare | grep FailedScheduling | tail -1NAME READY UP-TO-DATE AVAILABLE AGE
cautare 2/3 3 2 24s
Warning FailedScheduling 25s default-scheduler 0/3 nodes are available: 2 Insufficient memory, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod.Rezervare realistă:
sed -i 's/memory: 3Gi/memory: 512Mi/' cautare.yaml
kubectl apply -f cautare.yaml
kubectl rollout status deploy/cautare
kubectl get deploy cautaredeployment.apps/cautare configured
Waiting for deployment "cautare" rollout to finish: 1 out of 3 new replicas have been updated...
Waiting for deployment "cautare" rollout to finish: 2 out of 3 new replicas have been updated...
Waiting for deployment "cautare" rollout to finish: 1 old replicas are pending termination...
deployment "cautare" successfully rolled out
NAME READY UP-TO-DATE AVAILABLE AGE
cautare 3/3 3 3 50sDe ce merge
Nodurile de lucru au câte 4 GiB alocabili, deci încape o singură replică de 3Gi pe fiecare, iar a treia nu are loc. Scheduler-ul nu se uită la consumul real, ci la rezervări. Cu 512Mi, toate trei încap ușor și rămâne loc și pentru alte aplicații.
Alte forme ale mesajului
0/3 nodes are available: 1 Insufficient memory, 2 node(s) didn't match Pod's node affinity/selector.
Cum o eviți pe viitor
- Dimensionează requests după
kubectl top podsîn producție, cu o rezervă mică. - Verifică după scalare că toate replicile sunt
Ready(kubectl get deploy), nu doar că Deploymentul există. - Folosește LimitRange pentru valori implicite rezonabile în namespace.
- Planifică replicile ținând cont de cel mai mic nod.
Întrebări frecvente
De ce 2 din 3 replici rulează, iar a treia nu?
Pentru că fiecare replică rezervă memorie, iar după primele două nu mai rămâne destulă pe niciun nod pentru a treia.
Ce se întâmplă cu podul Pending dacă eliberez memorie?
Scheduler-ul reîncearcă periodic și îl programează imediat ce un nod are loc. Nu trebuie recreat.
Erori înrudite
0/3 nodes are available: 2 Insufficient cpu, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod. Niciun nod nu are destul CPU nerezervat pentru requests.cpu al podului, așa că podul rămâne Pending. Coboară requests.cpu la cât folosește aplicația de fapt (de exemplu 500m), eliberează resurse sau adaugă noduri. Last State: Terminated, Reason: OOMKilled, Exit Code: 137 Containerul a depășit limita de memorie (resources.limits.memory), iar kernel-ul l-a oprit forțat. Mărește limita la un nivel realist pentru aplicație sau reduce consumul de memorie; codul 137 înseamnă oprire cu SIGKILL. The Pod "api" is invalid: spec.containers[0].resources.requests: Invalid value: "512Mi": must be less than or equal to memory limit of 256Mi Containerul cere (requests) mai mult decât limita lui (limits) pentru aceeași resursă, ceea ce nu are sens. Fă requests mai mic sau egal cu limits, de exemplu requests 256Mi și limits 512Mi. Învață Kubernetes de la zero, cu exerciții la fiecare lecție
Curs Kubernetes: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 12 lecții sunt gratuite.
