...
Eroare System Design · SPOF, căderi în cascadă, securitate și monitorizare

Retry storm: reîncercările fără backoff înmulțesc traficul și țin serviciul căzut

Pe scurt

La primele erori, toți clienții reîncearcă imediat, de mai multe ori, iar serviciul deja suprasolicitat primește de câteva ori mai mult trafic și nu-și mai poate reveni. Reîncearcă doar erorile temporare, cu backoff exponențial și jitter, cu un număr mic de încercări și un buget de reîncercări.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Reîncercările sunt utile pentru erori izolate: o conexiune resetată, un nod care tocmai a fost repornit. Problema apare când eroarea e cauzată de supraîncărcare. Fiecare client care primește 503 trimite imediat încă 3 cereri, deci traficul crește de 4 ori. Dacă fiecare nivel al sistemului reîncearcă (browserul, gateway-ul, serviciul A spre B, B spre baza de date), înmulțirea se compune: 3 niveluri × 3 reîncercări pot însemna de 27 de ori mai mult trafic.

Un alt efect: după o cădere scurtă, toți clienții reîncearcă exact în același moment, iar serviciul pornit abia acum e lovit de un val și cade din nou.

Soluții: backoff exponențial (100 ms, 200 ms, 400 ms...), jitter (o componentă aleatoare), un număr mic de încercări, reîncercări doar într-un singur nivel, un buget de reîncercări și respectarea antetului Retry-After.

De ce apare: cauzele frecvente

1Reîncercare imediată, în buclă

Greșit
for (int i = 0; i < 5; i++) {
    try { return client.call(); } catch (Exception e) { }
}
Corect
RetryConfig cfg = RetryConfig.custom()
    .maxAttempts(3)
    .intervalFunction(IntervalFunction.ofExponentialRandomBackoff(100, 2.0))
    .retryExceptions(IOException.class, TimeoutException.class)
    .build();

Reîncercările sunt rare, distanțate aleator și doar pentru erori temporare.

2Reîncercări pe fiecare nivel

Greșit
# gateway: 3 reîncercări, serviciul A: 3, clientul HTTP din A: 3
Corect
# reîncercări doar la marginea sistemului (gateway sau client), celelalte niveluri eșuează rapid

Înmulțirea dispare când un singur nivel reîncearcă.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre reîncercările care au ținut serviciul căzut.

Indiciu

Câte cereri generează o cerere eșuată, cu 3 reîncercări?

Alte forme ale mesajului

  • Retry storm
  • 503 Service Unavailable (Retry-After ignorat)
  • Thundering herd after recovery

Cum o eviți pe viitor

  • Folosește backoff exponențial cu jitter.
  • Limitează numărul de reîncercări și reîncearcă într-un singur nivel.
  • Nu reîncerca erorile 4xx (cu excepția 429, cu Retry-After).
  • Combină reîncercările cu circuit breaker.

Întrebări frecvente

Ce e un buget de reîncercări?

O limită relativă: de exemplu, reîncercările pot fi cel mult 10% din cererile totale. Când erorile cresc, bugetul se termină și clienții nu mai înmulțesc traficul.

De ce reîncercările trebuie să fie idempotente?

Pentru că o cerere care a dat timeout poate să fi reușit pe server. Reîncercarea unei plăți fără cheie de idempotență poate taxa clientul de două ori.

Erori înrudite

Cădere în cascadă: un serviciu lent oprește și serviciile care depind de el O dependență devine lentă sau cade, iar serviciile care o apelează sincron își blochează thread-urile și conexiunile așteptând-o, apoi cad și ele, iar căderea se propagă în tot sistemul. Pune timeout-uri scurte, circuit breaker, bulkhead-uri și degradare grațioasă la fiecare apel spre altă componentă. 429 Too Many Requests Clientul a trimis mai multe cereri decât permite limita serverului într-un interval, iar rate limiter-ul le respinge pe cele în plus. Ca utilizator al unui API, încetinește și respectă `Retry-After`; ca proprietar, verifică dacă limita e potrivită pentru traficul legitim și dacă se aplică pe client, nu global. Cache stampede (thundering herd): baza cade când expiră o cheie populară Când o cheie foarte citită expiră, toate cererile din acel moment ratează cache-ul și merg simultan în bază să recalculeze aceeași valoare, iar baza se supraîncarcă. Lasă o singură cerere să recalculeze (lock / single-flight), reîmprospătează cheia înainte să expire și adaugă jitter la TTL. Același mesaj procesat de două ori (clientul primește două SMS-uri / e taxat de două ori) Cozile garantează de obicei livrarea „cel puțin o dată” (at-least-once): după un timeout, o eroare sau o reîncercare, același mesaj poate ajunge de două ori la consumator. Fă procesarea idempotentă: salvează id-ul mesajului procesat și ignoră duplicatele, sau folosește chei de idempotență la apelurile externe.

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.