Media latenței e mică, dar p99 e de secunde (tail latency): unii utilizatori așteaptă mult
Media arată bine (80 ms), dar 1% din cereri durează secunde: cache miss-uri, pauze de garbage collection, cozi la pool-uri saturate sau o interogare lentă pentru anumite date. Măsoară percentile (p95, p99), nu medii, găsește cererile lente prin tracing și alertează pe p99.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Media latenței e un indicator înșelător: 99 de cereri de 40 ms și una de 4 secunde dau o medie de ~80 ms, care pare excelentă. Utilizatorul care a așteptat 4 secunde nu e însă o excepție neglijabilă: o pagină face zeci de cereri, iar un utilizator activ face sute, deci aproape toți întâlnesc coada lentă din când în când. Cu 20 de apeluri în paralel, ~18% din încărcările paginii așteaptă cel puțin un apel de la p99.
Cauze tipice ale cozii: cache miss-uri (cererile care nu sunt în cache ajung la bază), pauze de garbage collection, cozi la pool-uri de conexiuni sau thread-uri aproape saturate, interogări lente pentru anumite date (clienți cu multe comenzi), vecini zgomotoși pe aceeași mașină, reîncercări după timeout.
Instrumentele: histograme de latență (nu medii), percentile p50/p95/p99/p99.9, tracing distribuit pentru cererile lente și SLO-uri exprimate pe percentile („99% din cereri sub 300 ms”).
De ce apare: cauzele frecvente
1Monitorizare pe medie
avg(http_request_duration_seconds)histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))p99 arată latența celor mai lente cereri, pe care media le ascunde.
2Pool aproape saturat
spring.datasource.hikari.maximum-pool-size: 10 # la vârf, 9-10 conexiuni ocupatespring.datasource.hikari.maximum-pool-size: 20
# plus metrica hikaricp_connections_pending urmărităCererile nu mai așteaptă la coadă după o conexiune liberă.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre latența care pare bună în medie.
Indiciu
Ce ascunde o medie?
Reparația
- q1: 1% din cereri durează cel puțin 4 secunde.
- q2: Aproximativ 18%.
- q3: GC, cache miss-uri, pool saturat.
De ce merge
Media ascunde coada lentă. Percentilele arată ce trăiesc utilizatorii, iar cu multe apeluri pe pagină coada lentă devine experiența obișnuită.
Alte forme ale mesajului
Tail latencyp99 latency SLO breach
Cum o eviți pe viitor
- Măsoară latența cu histograme și percentile.
- Exprimă SLO-urile pe p95 / p99.
- Folosește tracing pentru a găsi cererile lente.
- Ține pool-urile și componentele sub saturare.
Întrebări frecvente
Ce percentile urmăresc?
p50 pentru experiența tipică, p95 și p99 pentru coada lentă. La sisteme foarte mari, și p99.9.
De ce nu pot face media percentilelor între servere?
Percentilele nu se pot media. Trebuie agregate histogramele, apoi calculat percentilul.
Erori înrudite
Server supraîncărcat: CPU 100% chiar pe cea mai mare mașină Ai mărit serverul de câteva ori (mai multe nuclee, mai multă memorie), dar traficul tot îl duce la 100% CPU, iar cererile încep să dureze secunde. Scalarea verticală are o limită și un preț care crește repede; treci la scalare orizontală: mai multe instanțe identice în spatele unui load balancer. HikariPool-1 - Connection is not available, request timed out after 30000ms. Toate conexiunile din pool-ul Hikari au fost ocupate 30 de secunde, iar cererea a renunțat. Fie pool-ul e prea mic pentru câte interogări rulează simultan, fie interogările (sau tranzacțiile) durează prea mult, fie o conexiune nu e eliberată. Calculează cu legea lui Little câte conexiuni îți trebuie și caută interogările lente. Rata de hit a cache-ului e mică (sub 50%), iar baza e tot supraîncărcată Cache-ul există, dar majoritatea citirilor tot ajung în bază: TTL-ul e prea scurt, cheile sunt prea specifice (conțin parametri care se schimbă), cache-ul e prea mic sau se invalidează prea des. Măsoară rata de hit, mărește TTL-ul acolo unde datele permit și normalizează cheile. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
