...
Eroare System Design · SPOF, căderi în cascadă, securitate și monitorizare

Media latenței e mică, dar p99 e de secunde (tail latency): unii utilizatori așteaptă mult

Pe scurt

Media arată bine (80 ms), dar 1% din cereri durează secunde: cache miss-uri, pauze de garbage collection, cozi la pool-uri saturate sau o interogare lentă pentru anumite date. Măsoară percentile (p95, p99), nu medii, găsește cererile lente prin tracing și alertează pe p99.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Media latenței e un indicator înșelător: 99 de cereri de 40 ms și una de 4 secunde dau o medie de ~80 ms, care pare excelentă. Utilizatorul care a așteptat 4 secunde nu e însă o excepție neglijabilă: o pagină face zeci de cereri, iar un utilizator activ face sute, deci aproape toți întâlnesc coada lentă din când în când. Cu 20 de apeluri în paralel, ~18% din încărcările paginii așteaptă cel puțin un apel de la p99.

Cauze tipice ale cozii: cache miss-uri (cererile care nu sunt în cache ajung la bază), pauze de garbage collection, cozi la pool-uri de conexiuni sau thread-uri aproape saturate, interogări lente pentru anumite date (clienți cu multe comenzi), vecini zgomotoși pe aceeași mașină, reîncercări după timeout.

Instrumentele: histograme de latență (nu medii), percentile p50/p95/p99/p99.9, tracing distribuit pentru cererile lente și SLO-uri exprimate pe percentile („99% din cereri sub 300 ms”).

De ce apare: cauzele frecvente

1Monitorizare pe medie

Greșit
avg(http_request_duration_seconds)
Corect
histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))

p99 arată latența celor mai lente cereri, pe care media le ascunde.

2Pool aproape saturat

Greșit
spring.datasource.hikari.maximum-pool-size: 10   # la vârf, 9-10 conexiuni ocupate
Corect
spring.datasource.hikari.maximum-pool-size: 20
# plus metrica hikaricp_connections_pending urmărită

Cererile nu mai așteaptă la coadă după o conexiune liberă.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre latența care pare bună în medie.

Indiciu

Ce ascunde o medie?

Alte forme ale mesajului

  • Tail latency
  • p99 latency SLO breach

Cum o eviți pe viitor

  • Măsoară latența cu histograme și percentile.
  • Exprimă SLO-urile pe p95 / p99.
  • Folosește tracing pentru a găsi cererile lente.
  • Ține pool-urile și componentele sub saturare.

Întrebări frecvente

Ce percentile urmăresc?

p50 pentru experiența tipică, p95 și p99 pentru coada lentă. La sisteme foarte mari, și p99.9.

De ce nu pot face media percentilelor între servere?

Percentilele nu se pot media. Trebuie agregate histogramele, apoi calculat percentilul.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.