Cădere în cascadă: un serviciu lent oprește și serviciile care depind de el
O dependență devine lentă sau cade, iar serviciile care o apelează sincron își blochează thread-urile și conexiunile așteptând-o, apoi cad și ele, iar căderea se propagă în tot sistemul. Pune timeout-uri scurte, circuit breaker, bulkhead-uri și degradare grațioasă la fiecare apel spre altă componentă.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Într-un sistem distribuit, o componentă lentă e adesea mai periculoasă decât una căzută. Una căzută răspunde imediat cu eroare; una lentă ține ocupate thread-urile, conexiunile și memoria apelanților. Când pool-urile acestora se epuizează, nici cererile care nu au legătură cu dependența lentă nu mai sunt servite, iar apelanții devin la rândul lor lenți pentru serviciile din amonte.
Alte mecanisme de propagare: reîncercările care multiplică traficul spre un serviciu deja suprasolicitat, supraîncărcarea instanțelor rămase după ce unele cad, cozile care cresc până la epuizarea memoriei.
Apărarea se face pe fiecare graniță: timeout pentru fiecare apel (mai scurt decât timeout-ul apelantului), circuit breaker care oprește apelurile spre o dependență care eșuează, bulkhead (pool-uri separate per dependență), load shedding (respinge rapid ce nu poți servi) și degradare grațioasă (răspunzi fără partea care lipsește).
De ce apare: cauzele frecvente
1Apel sincron fără timeout
Recomandari r = restTemplate.getForObject(url, Recomandari.class);@CircuitBreaker(name = "recomandari", fallbackMethod = "faraRecomandari")
@TimeLimiter(name = "recomandari") // timeout 300 ms
CompletableFuture<Recomandari> recomandari(long id) { ... }Apelul se oprește după 300 ms, iar după prea multe eșecuri circuitul se deschide și pagina se afișează fără recomandări.
2Un singur pool pentru toate dependențele
# 200 de thread-uri comune pentru plăți, recomandări, stoc# bulkhead: 20 pentru recomandări, 50 pentru plăți, restul pentru cereriO dependență lentă își consumă doar compartimentul.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre căderea magazinului pornită de serviciul de recomandări.
Indiciu
Ce face un thread care așteaptă un răspuns care nu mai vine?
Reparația
- q1: Thread-urile se blochează și cad și paginile de produs.
- q2: timeout scurt, circuit breaker, degradare grațioasă.
- q3: Adevărat.
De ce merge
Fără timeout și izolare, o dependență lentă epuizează resursele apelanților. Timeout-ul, circuit breaker-ul, bulkhead-urile și degradarea grațioasă opresc propagarea.
Alte forme ale mesajului
Thread pool exhaustedjava.util.concurrent.RejectedExecutionExceptionupstream timed out (110: Connection timed out)
Cum o eviți pe viitor
- Pune timeout la fiecare apel de rețea.
- Folosește circuit breaker pentru dependențele externe și interne.
- Separă pool-urile pe dependențe (bulkhead).
- Decide dinainte cum arată răspunsul fără fiecare dependență.
- Testează cu o dependență lentă, nu doar căzută.
Întrebări frecvente
Care e diferența față de SPOF?
SPOF-ul e o componentă fără rezervă. Căderea în cascadă e propagarea unei probleme de la o componentă la cele care depind de ea, chiar dacă toate au rezervă.
De ce e mai rău un serviciu lent decât unul căzut?
Pentru că ține resursele apelanților ocupate. Unul căzut eșuează imediat și eliberează resursele.
Erori înrudite
CallNotPermittedException: CircuitBreaker 'plati' is OPEN and does not permit further calls Circuit breaker-ul din fața unei dependențe s-a deschis pentru că prea multe apeluri recente au eșuat sau au fost lente, deci respinge imediat apelurile noi o perioadă. Nu e cauza problemei, ci protecția: verifică dependența, tratează excepția cu un fallback și ajustează pragurile doar dacă sunt evident greșite. Un serviciu extern lent blochează toate thread-urile serverului (timeout prea mare) Fiecare cerere apelează sincron un serviciu extern; când acesta devine lent, thread-urile serverului stau blocate până la timeout (adesea 30–60 de secunde sau infinit), iar serverul nu mai poate servi nimic. Pune timeout-uri scurte, potrivite cu durata normală a apelului, plus circuit breaker și fallback. Retry storm: reîncercările fără backoff înmulțesc traficul și țin serviciul căzut La primele erori, toți clienții reîncearcă imediat, de mai multe ori, iar serviciul deja suprasolicitat primește de câteva ori mai mult trafic și nu-și mai poate reveni. Reîncearcă doar erorile temporare, cu backoff exponențial și jitter, cu un număr mic de încercări și un buget de reîncercări. Când pică un server, celelalte se supraîncarcă și cad și ele (fără capacitate N+1) Ai mai multe instanțe, dar fiecare rulează la 60–70%: când una cade, traficul ei se mută pe celelalte, care trec de 100% și încep să cadă la rândul lor. Dimensionează pentru N+1: restul instanțelor trebuie să ducă tot traficul fără una (sau fără o zonă întreagă). Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
