...
Eroare System Design · Servere supraîncărcate, scalare și sesiuni

Un server la 100% CPU, celelalte aproape libere (load balancer cu IP hash)

Pe scurt

Load balancer-ul cu IP hash trimite toți utilizatorii cu aceeași adresă IP la același server. Când mulți vin din spatele aceluiași NAT (o firmă, un operator mobil), un server primește o mare parte din trafic. Fă serverele stateless (sesiuni în Redis) și folosește round robin sau least connections.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

IP hash calculează serverul din adresa IP a clientului, ca utilizatorul să ajungă mereu la același server și să-și găsească sesiunea din memorie. Funcționează când adresele sunt variate, dar în realitate multe cereri vin de la aceeași adresă: angajații unei firme ies pe internet printr-un singur IP, operatorii mobili folosesc CGNAT, iar un proxy sau un CDN în față poate face ca toate cererile să pară că vin din câteva adrese.

Rezultatul se vede în monitorizare: un server la 100% CPU și cu latență mare, celelalte la 20%. Mai mult, când acel server cade, toți utilizatorii lui își pierd sesiunea simultan.

Cauza adevărată e că serverele au stare (sesiunile în memorie), iar IP hash e un ocoliș. Cu sesiunile într-un depozit comun, poți folosi orice algoritm care împarte uniform.

De ce apare: cauzele frecvente

1Sticky sessions folosite ca să ascundă starea locală

Greșit
upstream app {
    ip_hash;
    server 10.0.1.11:8080;
    server 10.0.1.12:8080;
}
Corect
upstream app {
    least_conn;
    server 10.0.1.11:8080;
    server 10.0.1.12:8080;
}
# sesiunile în Redis

Fără stare locală, nu mai contează la ce server ajunge cererea, iar least connections trimite cererea la serverul cel mai liber.

2IP-ul clientului e de fapt adresa CDN-ului

Greșit
# toate cererile vin prin câteva noduri CDN
# ip_hash vede doar adresele CDN-ului
Corect
# algoritm care nu depinde de IP + sesiuni comune
# IP-ul real, doar pentru loguri: X-Forwarded-For

Când în față e un CDN sau alt proxy, adresa văzută de load balancer nu e a utilizatorului, iar distribuția devine foarte inegală.

Repară tu

Repară eroarea, direct în pagină

Load balancer-ul folosește IP hash, pentru că sesiunile stau în memoria serverelor. Clienții unei firme mari vin toți de pe același IP și încarcă un singur server. Fă serverele stateless (sesiuni într-un depozit comun) și trece load balancer-ul pe un algoritm care împarte uniform.

Indiciu

Întâi rezolvă starea din servere; abia apoi poți renunța la IP hash fără să delogi pe nimeni.

Alte forme ale mesajului

  • Uneven load distribution with sticky sessions
  • Hot server behind ip_hash

Cum o eviți pe viitor

  • Fă serverele stateless și lasă load balancer-ul să împartă liber.
  • Folosește least connections când cererile au durate foarte diferite.
  • Urmărește încărcarea per instanță, nu doar media: media ascunde serverul fierbinte.
  • Dacă ai nevoie de afinitate (de exemplu WebSocket), folosește-o pe cookie, nu pe IP.

Întrebări frecvente

Least connections sau round robin?

Round robin e bun când cererile durează cam la fel. Least connections e mai bun când unele cereri durează mult (rapoarte, upload-uri), pentru că evită serverele deja ocupate.

Am nevoie de sticky sessions pentru WebSocket?

O conexiune WebSocket rămâne oricum pe același server cât e deschisă. Afinitatea contează doar pentru fallback-uri prin HTTP long polling; acolo folosește un cookie de afinitate.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.