Retry storm: reîncercările fără backoff înmulțesc traficul și țin serviciul căzut
La primele erori, toți clienții reîncearcă imediat, de mai multe ori, iar serviciul deja suprasolicitat primește de câteva ori mai mult trafic și nu-și mai poate reveni. Reîncearcă doar erorile temporare, cu backoff exponențial și jitter, cu un număr mic de încercări și un buget de reîncercări.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Reîncercările sunt utile pentru erori izolate: o conexiune resetată, un nod care tocmai a fost repornit. Problema apare când eroarea e cauzată de supraîncărcare. Fiecare client care primește 503 trimite imediat încă 3 cereri, deci traficul crește de 4 ori. Dacă fiecare nivel al sistemului reîncearcă (browserul, gateway-ul, serviciul A spre B, B spre baza de date), înmulțirea se compune: 3 niveluri × 3 reîncercări pot însemna de 27 de ori mai mult trafic.
Un alt efect: după o cădere scurtă, toți clienții reîncearcă exact în același moment, iar serviciul pornit abia acum e lovit de un val și cade din nou.
Soluții: backoff exponențial (100 ms, 200 ms, 400 ms...), jitter (o componentă aleatoare), un număr mic de încercări, reîncercări doar într-un singur nivel, un buget de reîncercări și respectarea antetului Retry-After.
De ce apare: cauzele frecvente
1Reîncercare imediată, în buclă
for (int i = 0; i < 5; i++) {
try { return client.call(); } catch (Exception e) { }
}RetryConfig cfg = RetryConfig.custom()
.maxAttempts(3)
.intervalFunction(IntervalFunction.ofExponentialRandomBackoff(100, 2.0))
.retryExceptions(IOException.class, TimeoutException.class)
.build();Reîncercările sunt rare, distanțate aleator și doar pentru erori temporare.
2Reîncercări pe fiecare nivel
# gateway: 3 reîncercări, serviciul A: 3, clientul HTTP din A: 3# reîncercări doar la marginea sistemului (gateway sau client), celelalte niveluri eșuează rapidÎnmulțirea dispare când un singur nivel reîncearcă.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre reîncercările care au ținut serviciul căzut.
Indiciu
Câte cereri generează o cerere eșuată, cu 3 reîncercări?
Reparația
- q1: 4.000.
- q2: backoff cu jitter, buget de reîncercări, doar erori temporare.
- q3: Adevărat.
De ce merge
Reîncercările imediate înmulțesc traficul tocmai când serviciul e suprasolicitat. Backoff-ul cu jitter, limitele și bugetul de reîncercări îl lasă să-și revină.
Alte forme ale mesajului
Retry storm503 Service Unavailable (Retry-After ignorat)Thundering herd after recovery
Cum o eviți pe viitor
- Folosește backoff exponențial cu jitter.
- Limitează numărul de reîncercări și reîncearcă într-un singur nivel.
- Nu reîncerca erorile 4xx (cu excepția 429, cu
Retry-After). - Combină reîncercările cu circuit breaker.
Întrebări frecvente
Ce e un buget de reîncercări?
O limită relativă: de exemplu, reîncercările pot fi cel mult 10% din cererile totale. Când erorile cresc, bugetul se termină și clienții nu mai înmulțesc traficul.
De ce reîncercările trebuie să fie idempotente?
Pentru că o cerere care a dat timeout poate să fi reușit pe server. Reîncercarea unei plăți fără cheie de idempotență poate taxa clientul de două ori.
Erori înrudite
Cădere în cascadă: un serviciu lent oprește și serviciile care depind de el O dependență devine lentă sau cade, iar serviciile care o apelează sincron își blochează thread-urile și conexiunile așteptând-o, apoi cad și ele, iar căderea se propagă în tot sistemul. Pune timeout-uri scurte, circuit breaker, bulkhead-uri și degradare grațioasă la fiecare apel spre altă componentă. 429 Too Many Requests Clientul a trimis mai multe cereri decât permite limita serverului într-un interval, iar rate limiter-ul le respinge pe cele în plus. Ca utilizator al unui API, încetinește și respectă `Retry-After`; ca proprietar, verifică dacă limita e potrivită pentru traficul legitim și dacă se aplică pe client, nu global. Cache stampede (thundering herd): baza cade când expiră o cheie populară Când o cheie foarte citită expiră, toate cererile din acel moment ratează cache-ul și merg simultan în bază să recalculeze aceeași valoare, iar baza se supraîncarcă. Lasă o singură cerere să recalculeze (lock / single-flight), reîmprospătează cheia înainte să expire și adaugă jitter la TTL. Același mesaj procesat de două ori (clientul primește două SMS-uri / e taxat de două ori) Cozile garantează de obicei livrarea „cel puțin o dată” (at-least-once): după un timeout, o eroare sau o reîncercare, același mesaj poate ajunge de două ori la consumator. Fă procesarea idempotentă: salvează id-ul mesajului procesat și ignoră duplicatele, sau folosește chei de idempotență la apelurile externe. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
