0/3 nodes are available: 1 node(s) didn't match Pod's node affinity/selector, 1 node(s) had untolerated taint {node.kubernetes.io/unreachable: }, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod.
Un nod nu mai comunică cu clusterul (NotReady), iar Kubernetes i-a pus taint-ul node.kubernetes.io/unreachable, deci nu mai primește poduri. Dacă podul tău e legat de acel nod (nodeSelector pe hostname), scoate legătura ca să poată porni pe alt nod; separat, repară nodul.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Când kubelet-ul unui nod nu mai raportează (nodul s-a oprit, a pierdut rețeaua, kubelet-ul a căzut), nodul devine NotReady, iar controllerul de noduri îi pune taint-urile node.kubernetes.io/unreachable (cu efectele NoSchedule și NoExecute). Podurile nu mai sunt programate acolo, iar după 300 de secunde (toleranța implicită) cele existente sunt evacuate și recreate în altă parte de controllerele lor.
Problema devine serioasă când podul nu are altă variantă: un nodeSelector pe kubernetes.io/hostname sau o affinity obligatorie îl leagă de nodul căzut. Atunci mesajul arată că nodurile sănătoase nu se potrivesc, iar singurul potrivit e inaccesibil.
Verifică starea nodurilor cu kubectl get nodes și condițiile cu kubectl describe node.
De ce apare: cauzele frecvente
1Pod legat de un anumit nod
nodeSelector:
kubernetes.io/hostname: academia-worker2 # fără nodeSelector pe hostname
# sau o etichetă purtată de mai multe noduriLegat de un singur nod, podul nu poate fi mutat când nodul cade.
2Aștepți să pornească pe nodul căzut
kubectl get pods # Pending de 10 minutekubectl get nodes
kubectl describe node academia-worker2 | grep -A5 ConditionsCauza e nodul; podul pornește doar dacă îl lași să ruleze în altă parte sau repari nodul.
Repară eroarea, direct în pagină
Nodul academia-worker2 a căzut, iar Deploymentul rapoarte al unei agenții imobiliare, legat de el printr-un nodeSelector pe kubernetes.io/hostname, nu mai are niciun pod pornit. Verifică starea nodurilor și scoate legătura de nodul căzut, ca aplicația să pornească pe un nod sănătos.
Indiciu
Un kubectl patch --type=json cu operația remove pe /spec/template/spec/nodeSelector șterge selectorul.
Reparația
Nodurile și motivul:
kubectl get nodes
kubectl get pods -l app=rapoarte
kubectl describe pod -l app=rapoarte | grep FailedScheduling | tail -1NAME STATUS ROLES AGE VERSION
academia-control-plane Ready control-plane 21m v1.31.2
academia-worker Ready <none> 21m v1.31.2
academia-worker2 NotReady <none> 21m v1.31.2
NAME READY STATUS RESTARTS AGE
rapoarte-xmn5whfkn7-b65cg 0/1 Pending 0 25s
rapoarte-xmn5whfkn7-glwmr 1/1 Terminating 0 6m29s
Warning FailedScheduling 27s default-scheduler 0/3 nodes are available: 1 node(s) didn't match Pod's node affinity/selector, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }, 1 node(s) had untolerated taint {node.kubernetes.io/unreachable: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod.Scoate legătura de nod:
kubectl patch deployment rapoarte --type=json -p '[{"op":"remove","path":"/spec/template/spec/nodeSelector"}]'
kubectl rollout status deploy/rapoarte
kubectl get pods -l app=rapoarte -o widedeployment.apps/rapoarte patched
Waiting for deployment "rapoarte" rollout to finish: 0 of 1 updated replicas are available...
deployment "rapoarte" successfully rolled out
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
rapoarte-vbnqq67n9g-2vk75 1/1 Running 0 7s 10.244.1.3 academia-worker <none> <none>
rapoarte-xmn5whfkn7-glwmr 1/1 Terminating 0 6m41s 10.244.2.3 academia-worker2 <none> <none>De ce merge
Nodul NotReady are taint-ul unreachable, iar selectorul pe hostname lasă podului doar acel nod. Fără selector, scheduler-ul poate alege academia-worker, care e sănătos. Separat, nodul căzut trebuie reparat, dar aplicația nu mai depinde de el. Cu două replici pe noduri diferite, căderea unui nod nici nu s-ar fi simțit.
Alte forme ale mesajului
Warning NodeNotReady node-controller Node is not ready0/3 nodes are available: 1 node(s) had untolerated taint {node.kubernetes.io/not-ready: }, ...
Cum o eviți pe viitor
- Nu lega aplicațiile de un nod anume prin hostname; folosește etichete purtate de mai multe noduri.
- Rulează cel puțin două replici, pe noduri diferite (topologySpreadConstraints sau anti-affinity).
- Monitorizează starea nodurilor și pune alerte pe NotReady.
- Pentru date locale legate de un nod, ia în calcul ce se întâmplă când nodul dispare.
Întrebări frecvente
De ce podurile de pe nodul căzut apar încă Running?
Pentru că nodul nu mai poate raporta nimic, deci API server-ul păstrează ultima stare cunoscută. După expirarea toleranței (300 s), podurile sunt marcate pentru ștergere și recreate în altă parte.
Pot scurta cele 300 de secunde?
Da, cu toleranțe proprii pentru node.kubernetes.io/unreachable și not-ready, cu tolerationSeconds mai mic.
Erori înrudite
0/3 nodes are available: 2 node(s) didn't match Pod's node affinity/selector, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod. Podul are un nodeSelector sau o regulă de nodeAffinity pe care niciun nod nu o îndeplinește (de exemplu disk: ssd, dar niciun nod nu are eticheta). Pune eticheta pe nodul potrivit cu kubectl label nodes sau corectează selectorul din pod. 0/3 nodes are available: 2 node(s) had untolerated taint {dedicat: gpu}, 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod. Nodurile au un taint (aici dedicat=gpu:NoSchedule) pe care podul nu îl tolerează, deci nu poate fi programat. Fie adaugi podului o toleranță pentru taint, dacă are voie pe acele noduri, fie scoți taint-ul de pe noduri, dacă nu mai e necesar. 0/3 nodes are available: 1 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }, 2 node(s) were unschedulable. preemption: 0/3 nodes are available: 1 Preemption is not helpful for scheduling, 2 No preemption victims found for incoming pod. Nodurile de lucru sunt marcate unschedulable (după kubectl cordon sau drain), deci nu primesc poduri noi. Dacă mentenanța s-a terminat, rulează kubectl uncordon NOD; statusul nodului arată SchedulingDisabled. Învață Kubernetes de la zero, cu exerciții la fiecare lecție
Curs Kubernetes: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 12 lecții sunt gratuite.
