no live upstreams while connecting to upstream
nginx a marcat toate serverele din blocul `upstream` ca indisponibile și nu mai are unde trimite cererea, așa că răspunde 502. Apare tipic când există un singur server și acela a căzut sau a dat câteva erori la rând. Repari cu cel puțin două instanțe sănătoase și investighezi de ce au căzut.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
nginx ține, pentru fiecare server din upstream, un contor de eșecuri. Când un server dă max_fails erori (implicit 1) în fail_timeout (implicit 10 secunde), e scos din rotație pentru acea perioadă. Dacă toate serverele sunt scoase, nginx scrie no live upstreams while connecting to upstream și răspunde clientului cu 502, fără să mai încerce vreun server.
Cu un singur server în upstream, o singură eroare (un timeout, un restart) e suficientă ca tot site-ul să dea 502 timp de 10 secunde. Cu mai multe servere, mesajul înseamnă că toate au avut probleme deodată: de obicei o cauză comună, cum ar fi baza de date căzută, un deploy care le-a repornit pe toate sau o supraîncărcare generală.
Caută în log liniile de dinaintea acestui mesaj: ele arată primele erori (connect() failed, upstream timed out) care au scos serverele din rotație.
De ce apare: cauzele frecvente
1Un singur server în upstream
upstream app {
server 10.0.1.11:8080;
}upstream app {
server 10.0.1.11:8080;
server 10.0.1.12:8080;
server 10.0.1.13:8080;
}Cu o singură instanță, orice eroare scurtă golește upstream-ul. Cu trei, una scoasă din rotație lasă celelalte două să răspundă.
2Deploy care repornește toate instanțele deodată
for h in app1 app2 app3; do ssh $h 'systemctl restart magazin' & donefor h in app1 app2 app3; do
ssh $h 'systemctl restart magazin'
until curl -sf http://$h:8080/health; do sleep 2; done
doneRepornite în paralel, toate instanțele sunt indisponibile în același timp. Un rolling deploy le ia pe rând și așteaptă ca fiecare să fie sănătoasă.
Repară eroarea, direct în pagină
Site-ul are un singur server în spatele load balancer-ului. La fiecare restart, nginx scrie no live upstreams și toți utilizatorii primesc 502. Fă ca site-ul să supraviețuiască căderii unei instanțe a serverului, fără SPOF.
Indiciu
Load balancer-ul are nevoie de cel puțin o alternativă când o instanță nu răspunde.
Reparația
1. Atinge Server aplicație. 2. Setează Instanțe = 3 (minimum 2).
Rezultat: fără SPOF, căderea unei instanțe nu mai oprește site-ul.
De ce merge
Cu o singură instanță, căderea ei lasă load balancer-ul fără nicio țintă. Cu trei instanțe și health check activ, una căzută e ocolită, iar celelalte două tratează traficul.
Alte forme ale mesajului
no live upstreams while connecting to upstream, client: 203.0.113.5, server: magazin.ro
Cum o eviți pe viitor
- Minimum două instanțe în fiecare upstream de producție.
- Rolling deploy: o instanță odată, cu verificarea
/healthînainte de următoarea. - Configurează
max_failsșifail_timeoutconștient, nu lăsa valorile implicite. - Alertează pe numărul de instanțe sănătoase, nu doar pe erorile 5xx.
Întrebări frecvente
Am două servere și tot apare mesajul. De ce?
Ambele au dat erori în aceeași fereastră. Caută cauza comună: baza de date, un deploy simultan, o dependență externă sau o supraîncărcare care le-a dus pe amândouă la timeout.
Pot evita scoaterea din rotație cu max_fails=0?
Poți, dar atunci nginx trimite cereri și la serverul cu adevărat căzut. E mai bine să ai mai multe instanțe și să lași mecanismul să funcționeze.
Erori înrudite
502 Bad Gateway Proxy-ul sau load balancer-ul din fața aplicației a primit un răspuns invalid de la server, de obicei pentru că procesul aplicației a căzut, a repornit sau nu ascultă pe portul configurat. Verifici întâi logurile aplicației și ale proxy-ului, apoi health check-ul care trebuie să scoată instanțele moarte din rotație. Single point of failure (SPOF): o singură componentă cade și oprește tot site-ul O componentă rulează într-un singur exemplar pe drumul tuturor cererilor (un server de aplicație, o bază fără standby, un singur load balancer), deci căderea ei oprește tot sistemul. Pune cel puțin două instanțe în spatele unui load balancer cu health check sau un standby cu failover automat. Site-ul cade sau dă 502 la fiecare deploy La deploy, toate instanțele sunt oprite odată sau se opresc fără să termine cererile în curs, iar load balancer-ul le trimite încă trafic, deci utilizatorii primesc 502/503 câteva secunde sau minute. Folosește rolling sau blue-green deploy, readiness checks, drain la load balancer, graceful shutdown și migrări compatibile cu ambele versiuni. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
