Server supraîncărcat: CPU 100% chiar pe cea mai mare mașină
Ai mărit serverul de câteva ori (mai multe nuclee, mai multă memorie), dar traficul tot îl duce la 100% CPU, iar cererile încep să dureze secunde. Scalarea verticală are o limită și un preț care crește repede; treci la scalare orizontală: mai multe instanțe identice în spatele unui load balancer.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
CPU la 100% înseamnă că serverul lucrează la capacitate maximă: cererile noi așteaptă la coadă după cele în curs, latența crește brusc, health check-urile încep să expire, iar la final apar 502, 503 și 504. Dacă problema nu e un bug (o buclă infinită, o regex catastrofală), ci volumul real de trafic, serverul pur și simplu nu mai ajunge.
Primul reflex este scalarea verticală: o mașină mai mare. E simplă și nu cere schimbări în arhitectură, dar are limite clare: există o mașină maximă, prețul crește mai repede decât capacitatea, iar serverul rămâne un punct unic de eșec.
Scalarea orizontală pune mai multe instanțe în spatele unui load balancer. Cere ca serverele să fie stateless (fără sesiuni sau fișiere locale), dar oferă capacitate practic nelimitată și redundanță.
De ce apare: cauzele frecvente
1Un singur server, din ce în ce mai mare
client -> server (64 vCPU, 4.000 cereri/s)
# trafic: 6.000 cereri/sclient -> load balancer -> 3 × server (4.000 cereri/s fiecare)
# capacitate 12.000 cereri/s, rezistă la o cădereTrei servere identice duc mai mult decât cel mai mare server disponibil și nu se opresc toate odată.
2Server care păstrează stare locală
// fișierele încărcate salvate în /var/uploads pe server
// sesiunile în memorie// fișierele în object storage, sesiunile în Redis
// orice instanță poate trata orice cerereFără stare locală, poți adăuga și scoate instanțe oricând.
Repară eroarea, direct în pagină
Clientul vorbește direct cu un singur server, deja cel mai mare disponibil (4.000 de cereri pe secundă), care stă la peste 100% CPU la 6.000 de cereri pe secundă. Scalează orizontal: toate cererile tratate, fără SPOF, toate componentele sub 80%.
Indiciu
Mai multe instanțe ajută doar dacă cineva împarte traficul între ele.
Reparația
1. Adaugă Load balancer cu 2 instanțe; conectează Client web → Load balancer → Server aplicație. 2. Șterge conexiunea Client web → Server aplicație. 3. Server: Instanțe = 3.
Rezultat: 6.100 / 12.000 ≈ 51% încărcare, fără SPOF.
De ce merge
Serverul nu mai putea crește. Cu un load balancer cu 2 instanțe și 3 instanțe ale serverului, capacitatea urcă la 12.000 de cereri pe secundă, încărcarea scade la aproximativ 50%, iar căderea unei instanțe nu mai oprește site-ul.
Alte forme ale mesajului
CPU utilization 100% (CloudWatch alarm)load average peste numărul de nuclee
Cum o eviți pe viitor
- Proiectează serverele stateless de la început, ca să poți scala orizontal oricând.
- Ține serverele sub 70% CPU la vârful obișnuit.
- Configurează alerte pe CPU și pe latență, nu doar pe erori.
- Profilează înainte să scalezi: uneori CPU-ul e mâncat de o interogare sau o buclă care se repară ieftin.
Întrebări frecvente
Când e totuși bună scalarea verticală?
La început și pentru componente greu de distribuit, de exemplu baza de date primară. E cea mai rapidă soluție pe termen scurt; doar nu poate fi singura.
Cum știu că e trafic real și nu un bug?
Compară CPU-ul cu numărul de cereri pe secundă. Dacă CPU-ul crește proporțional cu traficul, e volum. Dacă e 100% la trafic mic, profilează aplicația.
Erori înrudite
503 Service Unavailable Serverul (sau load balancer-ul din fața lui) spune că nu poate trata cererea acum: e supraîncărcat, în mentenanță sau nu are nicio instanță sănătoasă. De obicei repari adăugând capacitate (mai multe instanțe, autoscalare) și verificând de ce instanțele sunt marcate nesănătoase. Instanțele noi nu primesc trafic: clientul apelează direct un singur server Ai pornit mai multe instanțe, dar DNS-ul sau aplicația client indică adresa unui singur server, deci tot traficul ajunge acolo, iar celelalte stau nefolosite. Pune un load balancer în față și fă ca DNS-ul să indice load balancer-ul, nu un server anume. Single point of failure (SPOF): o singură componentă cade și oprește tot site-ul O componentă rulează într-un singur exemplar pe drumul tuturor cererilor (un server de aplicație, o bază fără standby, un singur load balancer), deci căderea ei oprește tot sistemul. Pune cel puțin două instanțe în spatele unui load balancer cu health check sau un standby cu failover automat. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
