...
Eroare System Design · SPOF, căderi în cascadă, securitate și monitorizare

Un serviciu extern lent blochează toate thread-urile serverului (timeout prea mare)

Pe scurt

Fiecare cerere apelează sincron un serviciu extern; când acesta devine lent, thread-urile serverului stau blocate până la timeout (adesea 30–60 de secunde sau infinit), iar serverul nu mai poate servi nimic. Pune timeout-uri scurte, potrivite cu durata normală a apelului, plus circuit breaker și fallback.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Capacitatea unui server cu un pool fix de thread-uri e dată de legea lui Little: cereri pe secundă = thread-uri / durata unei cereri. Cu 200 de thread-uri și cereri de 50 ms, serverul duce 4.000 de cereri pe secundă. Dacă o dependență începe să răspundă abia la timeout-ul de 10 secunde, aceleași 200 de thread-uri duc doar 20 de cereri pe secundă: restul așteaptă în coadă, apoi primesc 502/504.

Timeout-urile implicite sunt periculoase: multe clienturi HTTP nu au deloc timeout de citire sau au valori de minute. Un timeout bun e puțin peste p99-ul normal al dependenței (de exemplu 300–500 ms), nu „cât să fie sigur”.

Timeout-ul scurt limitează paguba; circuit breaker-ul o elimină aproape complet, pentru că după câteva eșecuri nici nu mai încearcă; fallback-ul (date din cache, răspuns parțial) păstrează experiența utilizatorului.

De ce apare: cauzele frecvente

1Client HTTP fără timeout

Greșit
const r = await fetch("https://curs-valutar.example.com/eur");
Corect
const r = await fetch("https://curs-valutar.example.com/eur", { signal: AbortSignal.timeout(500) });

Apelul eșuează după 500 ms în loc să țină cererea minute în șir.

2Timeout uriaș

Greșit
spring.cloud.openfeign.client.config.default.read-timeout: 60000
Corect
spring.cloud.openfeign.client.config.default.connect-timeout: 200
spring.cloud.openfeign.client.config.default.read-timeout: 500

Timeout-ul e ales după durata normală a apelului, nu după cel mai rău caz imaginabil.

Repară tu

Repară eroarea, direct în pagină

Serviciul de curs valutar a căzut și răspunde abia la timeout-ul de 10 secunde, iar serverul, cu 200 de thread-uri, nu mai face față. Calculează în tab-ul Estimări capacitatea serverului cu timeout-ul actual și cu un timeout de 0,5 secunde.

Indiciu

Legea lui Little: cereri pe secundă = thread-uri / durata unei cereri.

Alte forme ale mesajului

  • java.net.SocketTimeoutException: Read timed out
  • Thread pool exhausted
  • 504 Gateway Time-out

Cum o eviți pe viitor

  • Pune timeout de conectare și de citire la fiecare client HTTP.
  • Alege timeout-ul după p99-ul normal al dependenței.
  • Adaugă circuit breaker și fallback.
  • Scoate din drumul cererii apelurile care nu sunt necesare pentru răspuns.

Întrebări frecvente

Nu mai bine măresc numărul de thread-uri?

Doar amâni problema: cu 2.000 de thread-uri și 10 secunde pe cerere, tot ajungi la 200 de cereri pe secundă, cu mult mai multă memorie consumată.

Programarea asincronă rezolvă problema?

Nu blochează thread-uri, dar cererile tot așteaptă, iar conexiunile și memoria se adună. Timeout-ul rămâne necesar.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.