Un serviciu extern lent blochează toate thread-urile serverului (timeout prea mare)
Fiecare cerere apelează sincron un serviciu extern; când acesta devine lent, thread-urile serverului stau blocate până la timeout (adesea 30–60 de secunde sau infinit), iar serverul nu mai poate servi nimic. Pune timeout-uri scurte, potrivite cu durata normală a apelului, plus circuit breaker și fallback.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Capacitatea unui server cu un pool fix de thread-uri e dată de legea lui Little: cereri pe secundă = thread-uri / durata unei cereri. Cu 200 de thread-uri și cereri de 50 ms, serverul duce 4.000 de cereri pe secundă. Dacă o dependență începe să răspundă abia la timeout-ul de 10 secunde, aceleași 200 de thread-uri duc doar 20 de cereri pe secundă: restul așteaptă în coadă, apoi primesc 502/504.
Timeout-urile implicite sunt periculoase: multe clienturi HTTP nu au deloc timeout de citire sau au valori de minute. Un timeout bun e puțin peste p99-ul normal al dependenței (de exemplu 300–500 ms), nu „cât să fie sigur”.
Timeout-ul scurt limitează paguba; circuit breaker-ul o elimină aproape complet, pentru că după câteva eșecuri nici nu mai încearcă; fallback-ul (date din cache, răspuns parțial) păstrează experiența utilizatorului.
De ce apare: cauzele frecvente
1Client HTTP fără timeout
const r = await fetch("https://curs-valutar.example.com/eur");const r = await fetch("https://curs-valutar.example.com/eur", { signal: AbortSignal.timeout(500) });Apelul eșuează după 500 ms în loc să țină cererea minute în șir.
2Timeout uriaș
spring.cloud.openfeign.client.config.default.read-timeout: 60000spring.cloud.openfeign.client.config.default.connect-timeout: 200
spring.cloud.openfeign.client.config.default.read-timeout: 500Timeout-ul e ales după durata normală a apelului, nu după cel mai rău caz imaginabil.
Repară eroarea, direct în pagină
Serviciul de curs valutar a căzut și răspunde abia la timeout-ul de 10 secunde, iar serverul, cu 200 de thread-uri, nu mai face față. Calculează în tab-ul Estimări capacitatea serverului cu timeout-ul actual și cu un timeout de 0,5 secunde.
Indiciu
Legea lui Little: cereri pe secundă = thread-uri / durata unei cereri.
Reparația
- e1: 200 / 10 = 20 cereri/s.
- e2: 200 / 0,5 = 400 cereri/s.
De ce merge
Cu 10 secunde pe cerere, 200 de thread-uri servesc doar 20 de cereri pe secundă. Cu timeout de 0,5 secunde, capacitatea urcă la 400, iar cu un circuit breaker apelurile eșuate nici nu mai așteaptă.
Alte forme ale mesajului
java.net.SocketTimeoutException: Read timed outThread pool exhausted504 Gateway Time-out
Cum o eviți pe viitor
- Pune timeout de conectare și de citire la fiecare client HTTP.
- Alege timeout-ul după p99-ul normal al dependenței.
- Adaugă circuit breaker și fallback.
- Scoate din drumul cererii apelurile care nu sunt necesare pentru răspuns.
Întrebări frecvente
Nu mai bine măresc numărul de thread-uri?
Doar amâni problema: cu 2.000 de thread-uri și 10 secunde pe cerere, tot ajungi la 200 de cereri pe secundă, cu mult mai multă memorie consumată.
Programarea asincronă rezolvă problema?
Nu blochează thread-uri, dar cererile tot așteaptă, iar conexiunile și memoria se adună. Timeout-ul rămâne necesar.
Erori înrudite
Cădere în cascadă: un serviciu lent oprește și serviciile care depind de el O dependență devine lentă sau cade, iar serviciile care o apelează sincron își blochează thread-urile și conexiunile așteptând-o, apoi cad și ele, iar căderea se propagă în tot sistemul. Pune timeout-uri scurte, circuit breaker, bulkhead-uri și degradare grațioasă la fiecare apel spre altă componentă. 504 Gateway Timeout Proxy-ul sau load balancer-ul a așteptat răspunsul serverului mai mult decât îi permite timeout-ul și a renunțat. Serverul nu e neapărat căzut, ci lent: de obicei din cauza bazei de date supraîncărcate, a unei interogări fără index sau a unui serviciu extern apelat sincron. Plasarea comenzii durează secunde: emailul de confirmare e trimis sincron, în cerere Cererea de plasare a comenzii așteaptă furnizorul de email (SMTP sau API), care răspunde în secunde, deci clientul așteaptă și el. Emailul nu trebuie să fie gata înainte de răspuns: publică un eveniment în coadă și lasă workerii să-l trimită. CallNotPermittedException: CircuitBreaker 'plati' is OPEN and does not permit further calls Circuit breaker-ul din fața unei dependențe s-a deschis pentru că prea multe apeluri recente au eșuat sau au fost lente, deci respinge imediat apelurile noi o perioadă. Nu e cauza problemei, ci protecția: verifică dependența, tratează excepția cu un fallback și ajustează pragurile doar dacă sunt evident greșite. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
