Toate serverele au fost scoase din rotație deodată: health check-ul verifică baza de date
Health check-ul fiecărui server verifică și baza de date (sau alt serviciu comun); când acea dependență are o problemă de câteva secunde, toate serverele raportează simultan „unhealthy”, iar load balancer-ul le scoate pe toate. Fă health check-ul / liveness-ul să verifice doar procesul și monitorizează separat dependențele.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Pare o idee bună ca /health să verifice tot: baza, cache-ul, serviciile externe. Problema apare când dependența e comună tuturor serverelor: o pauză de 10 secunde a bazei face ca toate instanțele să pice health check-ul în același timp. Load balancer-ul nu are unde să trimită traficul și răspunde cu 503 sau, în unele implementări, trimite oricum la toate (fail open). În Kubernetes, un liveness probe de acest fel repornește în buclă toate pod-urile, iar la revenire baza e lovită de toate pornirile deodată.
Distincția utilă: liveness (procesul e blocat și trebuie repornit?) verifică doar procesul; readiness (instanța poate primi trafic acum?) poate verifica lucrurile proprii instanței (s-a încărcat configurația, pool-ul e inițializat), dar cu grijă la dependențele comune; starea dependențelor e o metrică pentru monitorizare și alerte.
La fel de periculos e opusul: un health check care răspunde 200 mereu, chiar și când aplicația nu mai poate servi nimic.
De ce apare: cauzele frecvente
1Liveness probe care verifică baza
livenessProbe:
httpGet: { path: /actuator/health, port: 8080 } # include dblivenessProbe:
httpGet: { path: /actuator/health/liveness, port: 8080 }
readinessProbe:
httpGet: { path: /actuator/health/readiness, port: 8080 }Liveness-ul verifică doar procesul; o problemă a bazei nu mai repornește pod-urile.
2Grup de health fără excludere
management.endpoint.health.group.liveness.include: livenessState,dbmanagement.endpoint.health.group.liveness.include: livenessState
management.endpoint.health.group.readiness.include: readinessStateStarea bazei rămâne vizibilă în /actuator/health și în metrici, fără să scoată instanțele din rotație.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre căderea totală provocată de health check-uri.
Indiciu
Ce au în comun toate serverele?
Reparația
- q1: Scoate toate serverele din rotație.
- q2: Doar că procesul răspunde.
- q3: Adevărat.
De ce merge
Un health check care depinde de o componentă comună transformă o problemă scurtă a acelei componente în căderea tuturor serverelor. Liveness-ul trebuie să verifice doar procesul.
Alte forme ale mesajului
Target group: all targets unhealthyLiveness probe failed: HTTP probe failed with statuscode: 503Back-off restarting failed container
Cum o eviți pe viitor
- Verifică în liveness doar procesul.
- Folosește readiness pentru starea proprie a instanței.
- Monitorizează dependențele separat, cu alerte.
- Testează ce face load balancer-ul când toate instanțele par căzute.
Întrebări frecvente
Atunci cum aflu că baza nu merge?
Din metricile și alertele bazei și din rata de erori a aplicației. Health check-ul load balancer-ului nu e un sistem de monitorizare.
Ce înseamnă fail open la load balancer?
Unele load balancer-e (de exemplu AWS ALB), când toate țintele sunt nesănătoase, trimit traficul la toate. Comportamentul diferă între produse, deci verifică documentația.
Erori înrudite
Health checks failed (Target.FailedHealthChecks) Load balancer-ul a marcat instanța ca nesănătoasă pentru că nu a răspuns corect la verificarea periodică (cod greșit, timeout, endpoint inexistent) și nu-i mai trimite trafic. Verifică endpoint-ul de health, timpul de pornire al aplicației și dacă health check-ul depinde inutil de baza de date. Cădere în cascadă: un serviciu lent oprește și serviciile care depind de el O dependență devine lentă sau cade, iar serviciile care o apelează sincron își blochează thread-urile și conexiunile așteptând-o, apoi cad și ele, iar căderea se propagă în tot sistemul. Pune timeout-uri scurte, circuit breaker, bulkhead-uri și degradare grațioasă la fiecare apel spre altă componentă. 503 Service Unavailable Serverul (sau load balancer-ul din fața lui) spune că nu poate trata cererea acum: e supraîncărcat, în mentenanță sau nu are nicio instanță sănătoasă. De obicei repari adăugând capacitate (mai multe instanțe, autoscalare) și verificând de ce instanțele sunt marcate nesănătoase. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
