...
Eroare System Design · SPOF, căderi în cascadă, securitate și monitorizare

Toate serverele au fost scoase din rotație deodată: health check-ul verifică baza de date

Pe scurt

Health check-ul fiecărui server verifică și baza de date (sau alt serviciu comun); când acea dependență are o problemă de câteva secunde, toate serverele raportează simultan „unhealthy”, iar load balancer-ul le scoate pe toate. Fă health check-ul / liveness-ul să verifice doar procesul și monitorizează separat dependențele.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Pare o idee bună ca /health să verifice tot: baza, cache-ul, serviciile externe. Problema apare când dependența e comună tuturor serverelor: o pauză de 10 secunde a bazei face ca toate instanțele să pice health check-ul în același timp. Load balancer-ul nu are unde să trimită traficul și răspunde cu 503 sau, în unele implementări, trimite oricum la toate (fail open). În Kubernetes, un liveness probe de acest fel repornește în buclă toate pod-urile, iar la revenire baza e lovită de toate pornirile deodată.

Distincția utilă: liveness (procesul e blocat și trebuie repornit?) verifică doar procesul; readiness (instanța poate primi trafic acum?) poate verifica lucrurile proprii instanței (s-a încărcat configurația, pool-ul e inițializat), dar cu grijă la dependențele comune; starea dependențelor e o metrică pentru monitorizare și alerte.

La fel de periculos e opusul: un health check care răspunde 200 mereu, chiar și când aplicația nu mai poate servi nimic.

De ce apare: cauzele frecvente

1Liveness probe care verifică baza

Greșit
livenessProbe:
  httpGet: { path: /actuator/health, port: 8080 }   # include db
Corect
livenessProbe:
  httpGet: { path: /actuator/health/liveness, port: 8080 }
readinessProbe:
  httpGet: { path: /actuator/health/readiness, port: 8080 }

Liveness-ul verifică doar procesul; o problemă a bazei nu mai repornește pod-urile.

2Grup de health fără excludere

Greșit
management.endpoint.health.group.liveness.include: livenessState,db
Corect
management.endpoint.health.group.liveness.include: livenessState
management.endpoint.health.group.readiness.include: readinessState

Starea bazei rămâne vizibilă în /actuator/health și în metrici, fără să scoată instanțele din rotație.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre căderea totală provocată de health check-uri.

Indiciu

Ce au în comun toate serverele?

Alte forme ale mesajului

  • Target group: all targets unhealthy
  • Liveness probe failed: HTTP probe failed with statuscode: 503
  • Back-off restarting failed container

Cum o eviți pe viitor

  • Verifică în liveness doar procesul.
  • Folosește readiness pentru starea proprie a instanței.
  • Monitorizează dependențele separat, cu alerte.
  • Testează ce face load balancer-ul când toate instanțele par căzute.

Întrebări frecvente

Atunci cum aflu că baza nu merge?

Din metricile și alertele bazei și din rata de erori a aplicației. Health check-ul load balancer-ului nu e un sistem de monitorizare.

Ce înseamnă fail open la load balancer?

Unele load balancer-e (de exemplu AWS ALB), când toate țintele sunt nesănătoase, trimit traficul la toate. Comportamentul diferă între produse, deci verifică documentația.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.