Autoscalarea nu ține pasul cu vârful de trafic (instanțele ajung la maxim, cererile tot se pierd)
Grupul de autoscalare a ajuns la numărul maxim de instanțe sau pornește instanțe noi prea încet, iar la vârf serverele rămân supraîncărcate. Ridică limita maximă la cât cere vârful real, scalează după o metrică care reacționează devreme și ține un minim care acoperă creșterea bruscă.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Autoscalarea adaugă instanțe când o metrică (CPU, cereri pe instanță, lungimea cozii) trece de un prag și le scoate când scade. Două lucruri o fac să nu ajute la vârf.
Primul e limita maximă: dacă grupul are max = 4, iar vârful cere 8 instanțe, autoscalarea se oprește la 4 și restul cererilor se pierd. Limita se pune de obicei din motive de cost, apoi traficul crește și nimeni nu o mai actualizează.
Al doilea e viteza: o instanță nouă are nevoie de minute ca să pornească (imagine, aplicație, warm-up), iar metrica medie pe 5 minute reacționează târziu. La un vârf brusc (o campanie, o notificare trimisă tuturor), instanțele noi ajung după ce utilizatorii au primit deja erori.
În istoricul grupului (de exemplu Activity în AWS Auto Scaling) vezi dacă a atins maximul sau dacă a pornit instanțe cu întârziere.
De ce apare: cauzele frecvente
1Limita maximă prea mică pentru vârf
MinSize: 2
MaxSize: 4 # vârful cere ~8 instanțeMinSize: 2
MaxSize: 12
# alertă când grupul stă la MaxSizeAutoscalarea nu poate depăși maximul. Maximul se calculează din vârful așteptat plus o marjă, iar atingerea lui trebuie să dea alertă.
2Vârf cunoscut, dar tratat doar reactiv
# campania începe la 20:00, grupul pornește la 2 instanțe# acțiune programată: la 19:45 MinSize = 8
# după campanie, MinSize revine la 2Pentru vârfuri planificate, scalarea programată pregătește capacitatea înainte, fără să aștepte metrica.
Repară eroarea, direct în pagină
Serverul are autoscalare între 2 și 4 instanțe. Seara, la campania de 7.000 de citiri pe secundă, grupul stă la 4 instanțe și se pierd cereri. Ajustează autoscalarea astfel încât și vârful de seară să fie tratat complet.
Indiciu
Autoscalarea alege instanțele între minim și maxim; vezi dacă maximul ajunge pentru vârf.
Reparația
1. Atinge Server aplicație. 2. Setează Autoscalare: maxim = 12.
Rezultat: la vârf grupul ajunge la ~10 instanțe și toate cererile sunt tratate.
De ce merge
La 7.000 de cereri pe secundă, cu ~70% încărcare țintă, autoscalarea ar vrea 10 instanțe, dar maximul o oprea la 4. Cu maximul ridicat la 12, grupul crește cât cere vârful, iar ziua rămâne la minim, deci nu plătești capacitate nefolosită.
Alte forme ale mesajului
Auto Scaling group reached maximum capacityHorizontalPodAutoscaler: the desired replica count is more than the maximum replica count
Cum o eviți pe viitor
- Calculează maximul din vârful real plus marjă și revizuiește-l când crește traficul.
- Alertează când grupul stă la maxim.
- Scalează după cereri pe instanță sau lungimea cozii, care reacționează mai repede decât CPU-ul mediu.
- Pentru vârfuri planificate, folosește scalare programată.
- Redu timpul de pornire al instanțelor (imagini pregătite, warm-up scurt).
Întrebări frecvente
De ce nu pun maximul foarte mare, ca să fiu sigur?
Pentru că un bug sau un atac poate porni zeci de instanțe și o factură mare. Maximul se alege conștient, cu alertă și cu rate limiting în față.
Ce metrică e mai bună decât CPU-ul?
Cereri pe secundă per instanță la servere web, lungimea cozii sau vechimea celui mai vechi mesaj la workeri. Ele cresc imediat cu traficul, înainte ca CPU-ul mediu să reacționeze.
Erori înrudite
503 Service Unavailable Serverul (sau load balancer-ul din fața lui) spune că nu poate trata cererea acum: e supraîncărcat, în mentenanță sau nu are nicio instanță sănătoasă. De obicei repari adăugând capacitate (mai multe instanțe, autoscalare) și verificând de ce instanțele sunt marcate nesănătoase. Server supraîncărcat: CPU 100% chiar pe cea mai mare mașină Ai mărit serverul de câteva ori (mai multe nuclee, mai multă memorie), dar traficul tot îl duce la 100% CPU, iar cererile încep să dureze secunde. Scalarea verticală are o limită și un preț care crește repede; treci la scalare orizontală: mai multe instanțe identice în spatele unui load balancer. Coada crește continuu (consumer lag / backlog): mesajele se procesează cu ore întârziere Mesajele intră în coadă mai repede decât le pot procesa consumatorii, deci numărul lor (și vechimea celui mai vechi) crește fără oprire. Adaugă consumatori (workeri) sau fă procesarea mai rapidă, și scalează după lungimea cozii, nu după CPU. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
