...
Eroare System Design · Servere supraîncărcate, scalare și sesiuni

Server supraîncărcat: CPU 100% chiar pe cea mai mare mașină

Pe scurt

Ai mărit serverul de câteva ori (mai multe nuclee, mai multă memorie), dar traficul tot îl duce la 100% CPU, iar cererile încep să dureze secunde. Scalarea verticală are o limită și un preț care crește repede; treci la scalare orizontală: mai multe instanțe identice în spatele unui load balancer.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

CPU la 100% înseamnă că serverul lucrează la capacitate maximă: cererile noi așteaptă la coadă după cele în curs, latența crește brusc, health check-urile încep să expire, iar la final apar 502, 503 și 504. Dacă problema nu e un bug (o buclă infinită, o regex catastrofală), ci volumul real de trafic, serverul pur și simplu nu mai ajunge.

Primul reflex este scalarea verticală: o mașină mai mare. E simplă și nu cere schimbări în arhitectură, dar are limite clare: există o mașină maximă, prețul crește mai repede decât capacitatea, iar serverul rămâne un punct unic de eșec.

Scalarea orizontală pune mai multe instanțe în spatele unui load balancer. Cere ca serverele să fie stateless (fără sesiuni sau fișiere locale), dar oferă capacitate practic nelimitată și redundanță.

De ce apare: cauzele frecvente

1Un singur server, din ce în ce mai mare

Greșit
client -> server (64 vCPU, 4.000 cereri/s)
# trafic: 6.000 cereri/s
Corect
client -> load balancer -> 3 × server (4.000 cereri/s fiecare)
# capacitate 12.000 cereri/s, rezistă la o cădere

Trei servere identice duc mai mult decât cel mai mare server disponibil și nu se opresc toate odată.

2Server care păstrează stare locală

Greșit
// fișierele încărcate salvate în /var/uploads pe server
// sesiunile în memorie
Corect
// fișierele în object storage, sesiunile în Redis
// orice instanță poate trata orice cerere

Fără stare locală, poți adăuga și scoate instanțe oricând.

Repară tu

Repară eroarea, direct în pagină

Clientul vorbește direct cu un singur server, deja cel mai mare disponibil (4.000 de cereri pe secundă), care stă la peste 100% CPU la 6.000 de cereri pe secundă. Scalează orizontal: toate cererile tratate, fără SPOF, toate componentele sub 80%.

Indiciu

Mai multe instanțe ajută doar dacă cineva împarte traficul între ele.

Alte forme ale mesajului

  • CPU utilization 100% (CloudWatch alarm)
  • load average peste numărul de nuclee

Cum o eviți pe viitor

  • Proiectează serverele stateless de la început, ca să poți scala orizontal oricând.
  • Ține serverele sub 70% CPU la vârful obișnuit.
  • Configurează alerte pe CPU și pe latență, nu doar pe erori.
  • Profilează înainte să scalezi: uneori CPU-ul e mâncat de o interogare sau o buclă care se repară ieftin.

Întrebări frecvente

Când e totuși bună scalarea verticală?

La început și pentru componente greu de distribuit, de exemplu baza de date primară. E cea mai rapidă soluție pe termen scurt; doar nu poate fi singura.

Cum știu că e trafic real și nu un bug?

Compară CPU-ul cu numărul de cereri pe secundă. Dacă CPU-ul crește proporțional cu traficul, e volum. Dacă e 100% la trafic mic, profilează aplicația.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.