Un server la 100% CPU, celelalte aproape libere (load balancer cu IP hash)
Load balancer-ul cu IP hash trimite toți utilizatorii cu aceeași adresă IP la același server. Când mulți vin din spatele aceluiași NAT (o firmă, un operator mobil), un server primește o mare parte din trafic. Fă serverele stateless (sesiuni în Redis) și folosește round robin sau least connections.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
IP hash calculează serverul din adresa IP a clientului, ca utilizatorul să ajungă mereu la același server și să-și găsească sesiunea din memorie. Funcționează când adresele sunt variate, dar în realitate multe cereri vin de la aceeași adresă: angajații unei firme ies pe internet printr-un singur IP, operatorii mobili folosesc CGNAT, iar un proxy sau un CDN în față poate face ca toate cererile să pară că vin din câteva adrese.
Rezultatul se vede în monitorizare: un server la 100% CPU și cu latență mare, celelalte la 20%. Mai mult, când acel server cade, toți utilizatorii lui își pierd sesiunea simultan.
Cauza adevărată e că serverele au stare (sesiunile în memorie), iar IP hash e un ocoliș. Cu sesiunile într-un depozit comun, poți folosi orice algoritm care împarte uniform.
De ce apare: cauzele frecvente
1Sticky sessions folosite ca să ascundă starea locală
upstream app {
ip_hash;
server 10.0.1.11:8080;
server 10.0.1.12:8080;
}upstream app {
least_conn;
server 10.0.1.11:8080;
server 10.0.1.12:8080;
}
# sesiunile în RedisFără stare locală, nu mai contează la ce server ajunge cererea, iar least connections trimite cererea la serverul cel mai liber.
2IP-ul clientului e de fapt adresa CDN-ului
# toate cererile vin prin câteva noduri CDN
# ip_hash vede doar adresele CDN-ului# algoritm care nu depinde de IP + sesiuni comune
# IP-ul real, doar pentru loguri: X-Forwarded-ForCând în față e un CDN sau alt proxy, adresa văzută de load balancer nu e a utilizatorului, iar distribuția devine foarte inegală.
Repară eroarea, direct în pagină
Load balancer-ul folosește IP hash, pentru că sesiunile stau în memoria serverelor. Clienții unei firme mari vin toți de pe același IP și încarcă un singur server. Fă serverele stateless (sesiuni într-un depozit comun) și trece load balancer-ul pe un algoritm care împarte uniform.
Indiciu
Întâi rezolvă starea din servere; abia apoi poți renunța la IP hash fără să delogi pe nimeni.
Reparația
1. Adaugă Cache (Redis) și conectează Server aplicație → Cache (Redis). 2. Server: Sesiuni utilizatori = În cache (Redis). 3. Load balancer: Algoritm = Least connections (sau Round robin).
Rezultat: traficul se împarte uniform, sesiunile sunt comune.
De ce merge
IP hash era necesar doar pentru că sesiunile stăteau în memoria serverelor. Cu sesiunile în Redis, orice instanță poate trata orice cerere, iar least connections sau round robin împart traficul uniform, inclusiv pentru clienții din spatele aceluiași NAT.
Alte forme ale mesajului
Uneven load distribution with sticky sessionsHot server behind ip_hash
Cum o eviți pe viitor
- Fă serverele stateless și lasă load balancer-ul să împartă liber.
- Folosește least connections când cererile au durate foarte diferite.
- Urmărește încărcarea per instanță, nu doar media: media ascunde serverul fierbinte.
- Dacă ai nevoie de afinitate (de exemplu WebSocket), folosește-o pe cookie, nu pe IP.
Întrebări frecvente
Least connections sau round robin?
Round robin e bun când cererile durează cam la fel. Least connections e mai bun când unele cereri durează mult (rapoarte, upload-uri), pentru că evită serverele deja ocupate.
Am nevoie de sticky sessions pentru WebSocket?
O conexiune WebSocket rămâne oricum pe același server cât e deschisă. Afinitatea contează doar pentru fallback-uri prin HTTP long polling; acolo folosește un cookie de afinitate.
Erori înrudite
Utilizatorii sunt delogați aleatoriu după ce ai adăugat al doilea server Sesiunile sunt ținute în memoria fiecărui server, iar load balancer-ul trimite cererile următoare la alt server, care nu cunoaște sesiunea, deci utilizatorul pare delogat sau coșul se golește. Mută sesiunile într-un loc comun (Redis) sau folosește tokenuri, ca serverele să fie stateless. Server supraîncărcat: CPU 100% chiar pe cea mai mare mașină Ai mărit serverul de câteva ori (mai multe nuclee, mai multă memorie), dar traficul tot îl duce la 100% CPU, iar cererile încep să dureze secunde. Scalarea verticală are o limită și un preț care crește repede; treci la scalare orizontală: mai multe instanțe identice în spatele unui load balancer. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
