...
Eroare System Design · Servere supraîncărcate, scalare și sesiuni

Load balancer-ul a ajuns la limită: latență mare și conexiuni refuzate înainte de servere

Pe scurt

Serverele din spate sunt relaxate, dar cererile tot se pierd sau durează mult, pentru că load balancer-ul însuși (sau proxy-ul nginx/HAProxy pe care îl rulezi tu) nu mai face față numărului de cereri sau conexiuni. Adaugă instanțe load balancer-ului (sau trece pe unul gestionat) și elimină-l ca punct unic de eșec.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Load balancer-ul e și el o componentă cu capacitate: procesează fiecare cerere, ține conexiunile deschise, termină TLS-ul. Un nginx sau HAProxy pe o singură mașină are o limită de conexiuni simultane (worker_connections, descriptori de fișiere) și de CPU pentru criptare. Când o atinge, apar conexiuni refuzate, timeout-uri la conectare și latență mare, deși graficele serverelor din spate arată CPU mic.

Semnul tipic: erorile apar înainte de servere. Logurile aplicației nu arată cererile pierdute, pentru că ele nu au ajuns niciodată acolo. În logul nginx apare worker_connections are not enough sau Too many open files.

Load balancer-ele gestionate (ALB, Cloud Load Balancing) scalează singure, dar și ele pot avea nevoie de timp la creșteri foarte bruște. Un load balancer rulat de tine se scalează cu mai multe instanțe, în spatele unui IP flotant sau al DNS-ului.

De ce apare: cauzele frecvente

1Limită de conexiuni lăsată implicită

Greșit
events {
    worker_connections 768;
}
Corect
worker_rlimit_nofile 65535;
events {
    worker_connections 16384;
}

Fiecare cerere proxied folosește două conexiuni (client și upstream). Limita implicită se atinge repede la trafic mare.

2O singură instanță de load balancer

Greșit
client -> 1 × HAProxy -> 30 × server
Corect
client -> DNS / IP flotant -> 2 × HAProxy -> 30 × server

Două instanțe dublează capacitatea și elimină punctul unic de eșec din fața întregului sistem.

Repară tu

Repară eroarea, direct în pagină

La 60.000 de citiri pe secundă, serverele și cache-ul au rezervă, dar singura instanță a load balancer-ului (50.000 de cereri/s) e peste capacitate. Fă ca toate cererile să fie tratate, toate componentele sub 80% și fără SPOF.

Indiciu

Uită-te în tabelul componentelor din Simulare la cea peste 100%.

Alte forme ale mesajului

  • worker_connections are not enough while connecting to upstream
  • accept4() failed (24: Too many open files)
  • HAProxy: Proxy reached process limit (maxconn)

Cum o eviți pe viitor

  • Dimensionează și load balancer-ul pentru vârf, nu doar serverele.
  • Rulează cel puțin două instanțe sau folosește un serviciu gestionat.
  • Ridică limitele de descriptori de fișiere și worker_connections la proxy-urile proprii.
  • Pune CDN-ul în față pentru conținutul static, ca load balancer-ul să vadă doar cererile dinamice.

Întrebări frecvente

Cum îmi dau seama că problema e la load balancer?

Serverele din spate au trafic și CPU mai mici decât te-ai aștepta, iar erorile apar în logurile load balancer-ului, nu în ale aplicației. Metricile proprii ale load balancer-ului (conexiuni active, conexiuni respinse) confirmă.

ALB-ul AWS poate fi supraîncărcat?

Scalează automat, dar la creșteri foarte bruște poate rămâne în urmă câteva minute. Pentru evenimente planificate, AWS permite pre-încălzirea (pre-warming) prin suport.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.