Când pică un server, celelalte se supraîncarcă și cad și ele (fără capacitate N+1)
Ai mai multe instanțe, dar fiecare rulează la 60–70%: când una cade, traficul ei se mută pe celelalte, care trec de 100% și încep să cadă la rândul lor. Dimensionează pentru N+1: restul instanțelor trebuie să ducă tot traficul fără una (sau fără o zonă întreagă).
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Redundanța nu e doar un număr de instanțe, ci și capacitate de rezervă. Cu 2 servere la 65% fiecare, sistemul arată sănătos. Când unul cade, celălalt primește 130% din capacitate: latența explodează, health check-urile încep să eșueze și load balancer-ul îl scoate și pe el. Rezultatul e o cădere totală, pornită de căderea unei singure instanțe.
Regula N+1: dacă ai nevoie de N instanțe pentru vârful de trafic, rulezi N+1. Pentru toleranța la căderea unei zone întregi (din 3), fiecare zonă trebuie să poată duce jumătate din trafic, deci rulezi la cel mult ~66% per zonă.
Autoscalarea ajută doar parțial: pornirea unei instanțe noi durează minute, timp în care cele rămase sunt deja supraîncărcate.
De ce apare: cauzele frecvente
1Două instanțe încărcate peste 50%
# 2 servere × 1.000 cereri/s, trafic 1.300 cereri/s -> 65% fiecare
# la căderea unuia: 130%# 3 servere × 1.000 cereri/s -> 43% fiecare
# la căderea unuia: 65%Cu o instanță în plus, căderea uneia lasă celelalte sub limită.
2Autoscalare ca singura rezervă
minReplicas: 2 # la vârf, 70% CPUminReplicas: 3 # rezervă pentru o cădere
maxReplicas: 10Rezerva trebuie să existe deja când pică o instanță, nu după ce pornește una nouă.
Repară eroarea, direct în pagină
Cele 2 servere de aplicație rulează la ~65%. Simulează căderea unuia: celălalt trece de 100%. Fă sistemul să supraviețuiască pierderii oricărei instanțe fără să se supraîncarce.
Indiciu
Calculează încărcarea fiecărui server când lipsește unul.
Reparația
1. Atinge Server aplicație. 2. Instanțe = 3.
Rezultat: la căderea oricărei instanțe, restul rămân sub 100%.
De ce merge
Cu 2 instanțe, căderea uneia dubla încărcarea celeilalte peste limită. Cu 3 instanțe, fiecare duce ~43%, iar la căderea uneia celelalte ajung la ~65%.
Alte forme ale mesajului
Cascading failure after instance lossTarget group: all targets unhealthy
Cum o eviți pe viitor
- Calculează încărcarea fiecărei instanțe cu una (sau o zonă) lipsă.
- Rulează N+1 instanțe pentru vârful de trafic.
- Testează căderea unei instanțe sub încărcare reală.
- Nu te baza doar pe autoscalare pentru rezervă.
Întrebări frecvente
Nu e scump să ții instanțe în plus?
Costul unei instanțe în plus e de obicei mult mai mic decât al unei căderi totale. La multe instanțe, rezerva relativă scade: N+1 la 10 instanțe e doar 10% în plus.
Ce înseamnă N+2?
Rezervă pentru două căderi simultane, de exemplu o instanță în mentenanță și una căzută. Se folosește la sistemele critice.
Erori înrudite
Single point of failure (SPOF): o singură componentă cade și oprește tot site-ul O componentă rulează într-un singur exemplar pe drumul tuturor cererilor (un server de aplicație, o bază fără standby, un singur load balancer), deci căderea ei oprește tot sistemul. Pune cel puțin două instanțe în spatele unui load balancer cu health check sau un standby cu failover automat. Cădere în cascadă: un serviciu lent oprește și serviciile care depind de el O dependență devine lentă sau cade, iar serviciile care o apelează sincron își blochează thread-urile și conexiunile așteptând-o, apoi cad și ele, iar căderea se propagă în tot sistemul. Pune timeout-uri scurte, circuit breaker, bulkhead-uri și degradare grațioasă la fiecare apel spre altă componentă. Server supraîncărcat: CPU 100% chiar pe cea mai mare mașină Ai mărit serverul de câteva ori (mai multe nuclee, mai multă memorie), dar traficul tot îl duce la 100% CPU, iar cererile încep să dureze secunde. Scalarea verticală are o limită și un preț care crește repede; treci la scalare orizontală: mai multe instanțe identice în spatele unui load balancer. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
