...
Eroare System Design · Rate limiting: 429 și cereri respinse

Rate limiter-ul a căzut și a oprit tot API-ul

Pe scurt

Toate cererile trec prin rate limiter, deci dacă rulează într-o singură instanță (sau depinde de un singur Redis), căderea lui oprește întregul API, deși serverele sunt sănătoase. Rulează limitatorul în mai multe instanțe și decide conștient ce se întâmplă când contorul nu e disponibil.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Orice componentă prin care trec toate cererile e un punct unic de eșec dacă are o singură instanță. Rate limiter-ul e adesea adăugat repede, „doar un nginx în plus” sau un middleware care citește contoarele din Redis, și uitat la planificarea redundanței.

Există două moduri de cădere. Instanța limitatorului cade, deci cererile nu mai au pe unde intra. Sau depozitul de contoare (Redis) devine indisponibil, iar codul limitatorului aruncă excepții și respinge tot (fail closed).

Pentru un rate limiter de protecție, de obicei e mai bine să lași cererile să treacă dacă depozitul nu răspunde (fail open), cu alertă, decât să oprești tot serviciul. Pentru limite legate de bani (apeluri plătite, cote de cont) poate fi mai bine invers. Decizia trebuie luată explicit.

De ce apare: cauzele frecvente

1O singură instanță în fața întregului API

Greșit
client -> 1 × rate limiter -> load balancer -> servere
Corect
client -> 2+ × rate limiter -> load balancer -> servere

Cu două instanțe, căderea uneia nu oprește traficul.

2Excepția din Redis respinge toate cererile

Greșit
long n = redis.incr(cheie);   // aruncă excepție dacă Redis e căzut
if (n > LIMITA) return status(429);
Corect
long n;
try { n = redis.incr(cheie); }
catch (RedisException e) { metrici.inc("ratelimit_fail_open"); return chain.next(); }
if (n > LIMITA) return status(429);

Fail open păstrează serviciul disponibil când contorul lipsește; alerta te anunță că protecția e temporar oprită.

Repară tu

Repară eroarea, direct în pagină

Rate limiter-ul din fața API-ului rulează într-o singură instanță și apare ca SPOF în simulare. Elimină punctul unic de eșec fără să renunți la limitare.

Indiciu

Limitatorul scalează ca orice componentă stateless.

Alte forme ale mesajului

  • RedisConnectionException în filtrul de rate limiting
  • Rate limiter unavailable: all requests rejected

Cum o eviți pe viitor

  • Rulează orice componentă de pe drumul tuturor cererilor în cel puțin două instanțe.
  • Decide și documentează fail open sau fail closed pentru limitator.
  • Pune timeout scurt pe accesul la contoare.
  • Include limitatorul în testele de cădere.

Întrebări frecvente

Fail open nu e periculos în timpul unui atac?

Pentru câteva minute, riscul e mai mic decât un API complet oprit. Combină-l cu protecția de la marginea rețelei (CDN, WAF), care rămâne activă.

Contoarele trebuie să fie comune tuturor instanțelor?

Pentru limite exacte per utilizator, da (de obicei în Redis). Pentru protecție grosieră, fiecare instanță poate număra local cu limita împărțită la numărul de instanțe.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.