Load balancer-ul a ajuns la limită: latență mare și conexiuni refuzate înainte de servere
Serverele din spate sunt relaxate, dar cererile tot se pierd sau durează mult, pentru că load balancer-ul însuși (sau proxy-ul nginx/HAProxy pe care îl rulezi tu) nu mai face față numărului de cereri sau conexiuni. Adaugă instanțe load balancer-ului (sau trece pe unul gestionat) și elimină-l ca punct unic de eșec.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Load balancer-ul e și el o componentă cu capacitate: procesează fiecare cerere, ține conexiunile deschise, termină TLS-ul. Un nginx sau HAProxy pe o singură mașină are o limită de conexiuni simultane (worker_connections, descriptori de fișiere) și de CPU pentru criptare. Când o atinge, apar conexiuni refuzate, timeout-uri la conectare și latență mare, deși graficele serverelor din spate arată CPU mic.
Semnul tipic: erorile apar înainte de servere. Logurile aplicației nu arată cererile pierdute, pentru că ele nu au ajuns niciodată acolo. În logul nginx apare worker_connections are not enough sau Too many open files.
Load balancer-ele gestionate (ALB, Cloud Load Balancing) scalează singure, dar și ele pot avea nevoie de timp la creșteri foarte bruște. Un load balancer rulat de tine se scalează cu mai multe instanțe, în spatele unui IP flotant sau al DNS-ului.
De ce apare: cauzele frecvente
1Limită de conexiuni lăsată implicită
events {
worker_connections 768;
}worker_rlimit_nofile 65535;
events {
worker_connections 16384;
}Fiecare cerere proxied folosește două conexiuni (client și upstream). Limita implicită se atinge repede la trafic mare.
2O singură instanță de load balancer
client -> 1 × HAProxy -> 30 × serverclient -> DNS / IP flotant -> 2 × HAProxy -> 30 × serverDouă instanțe dublează capacitatea și elimină punctul unic de eșec din fața întregului sistem.
Repară eroarea, direct în pagină
La 60.000 de citiri pe secundă, serverele și cache-ul au rezervă, dar singura instanță a load balancer-ului (50.000 de cereri/s) e peste capacitate. Fă ca toate cererile să fie tratate, toate componentele sub 80% și fără SPOF.
Indiciu
Uită-te în tabelul componentelor din Simulare la cea peste 100%.
Reparația
1. Atinge Load balancer. 2. Setează Instanțe = 2.
Rezultat: load balancer-ul la 60%, fără SPOF.
De ce merge
Load balancer-ul era gâtul de sticlă: 60.000 de cereri pe 50.000 de capacitate. Cu 2 instanțe are 100.000, încărcarea scade la 60%, iar o instanță căzută nu mai oprește tot sistemul.
Alte forme ale mesajului
worker_connections are not enough while connecting to upstreamaccept4() failed (24: Too many open files)HAProxy: Proxy reached process limit (maxconn)
Cum o eviți pe viitor
- Dimensionează și load balancer-ul pentru vârf, nu doar serverele.
- Rulează cel puțin două instanțe sau folosește un serviciu gestionat.
- Ridică limitele de descriptori de fișiere și
worker_connectionsla proxy-urile proprii. - Pune CDN-ul în față pentru conținutul static, ca load balancer-ul să vadă doar cererile dinamice.
Întrebări frecvente
Cum îmi dau seama că problema e la load balancer?
Serverele din spate au trafic și CPU mai mici decât te-ai aștepta, iar erorile apar în logurile load balancer-ului, nu în ale aplicației. Metricile proprii ale load balancer-ului (conexiuni active, conexiuni respinse) confirmă.
ALB-ul AWS poate fi supraîncărcat?
Scalează automat, dar la creșteri foarte bruște poate rămâne în urmă câteva minute. Pentru evenimente planificate, AWS permite pre-încălzirea (pre-warming) prin suport.
Erori înrudite
Server supraîncărcat: CPU 100% chiar pe cea mai mare mașină Ai mărit serverul de câteva ori (mai multe nuclee, mai multă memorie), dar traficul tot îl duce la 100% CPU, iar cererile încep să dureze secunde. Scalarea verticală are o limită și un preț care crește repede; treci la scalare orizontală: mai multe instanțe identice în spatele unui load balancer. Single point of failure (SPOF): o singură componentă cade și oprește tot site-ul O componentă rulează într-un singur exemplar pe drumul tuturor cererilor (un server de aplicație, o bază fără standby, un singur load balancer), deci căderea ei oprește tot sistemul. Pune cel puțin două instanțe în spatele unui load balancer cu health check sau un standby cu failover automat. API gateway-ul răspunde cu 503 la vârf, deși serviciile din spate au rezervă API gateway-ul verifică tokenul, aplică reguli și rutează fiecare cerere, deci are propria capacitate. Când traficul o depășește, răspunde cu 503 sau 504 înainte ca cererile să ajungă la servicii. Mai adaugă instanțe gateway-ului și elimină-l ca SPOF. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
