Latență și debit
Două cifre descriu viteza unui sistem: latența (cât durează o cerere) și debitul (câte cereri tratează pe secundă). Seamănă, dar nu sunt același lucru, și le îmbunătățești în moduri diferite. În această lecție vezi unde se pierde timpul pe drumul unei cereri, ce înseamnă p99 și de ce un server aproape plin devine brusc lent.
Două întrebări diferite
Latența răspunde la „cât aștept eu, ca utilizator, după o pagină?”. Se măsoară în milisecunde (ms). Debitul (*throughput*) răspunde la „câte cereri poate trata sistemul într-o secundă?”. Se măsoară în cereri pe secundă.
O analogie: o autostradă. Latența este cât durează drumul tău de la București la Pitești. Debitul este câte mașini trec pe autostradă într-o oră. Poți crește debitul adăugând benzi (mai multe servere), dar drumul tău nu devine mai scurt doar pentru că sunt mai multe benzi.
Utilizatorii simt o întârziere peste ~100 ms și devin nerăbdători peste o secundă. Amazon a măsurat că fiecare 100 ms în plus la încărcarea paginii scade vânzările vizibil.
Unde se pierde timpul
Latența unei cereri este suma timpilor de pe drum. Pentru MagazinPlus, o citire arată cam așa (cifre ilustrative, ca în simulator):
| Pas | Timp tipic |
|---|---|
| Internetul: client ↔ centrul de date | ~60 ms (depinde de distanță) |
| Codul serverului de aplicație | ~20 ms (sau mult mai mult, dacă e scris ineficient) |
| Interogarea în baza de date | ~15 ms (50 ms fără index) |
| Citire din cache (Redis) | ~1 ms |
| Apel la un serviciu extern (plăți) | ~200 ms |
Ca să scazi latența, cauți cel mai mare termen din sumă. Dacă serverul pierde 150 ms într-o buclă ineficientă, nu ajută să optimizezi baza de la 15 la 10 ms.
Media și p99
Cererile nu durează toate la fel. Majoritatea sunt rapide, dar câteva sunt lente (baza era ocupată, un server făcea curățenie în memorie). Media ascunde aceste cazuri. De aceea echipele folosesc percentile:
- p50 (mediana): jumătate din cereri sunt mai rapide decât această valoare.
- p95: 95 din 100 de cereri sunt mai rapide.
- p99: 99 din 100 de cereri sunt mai rapide; doar 1 din 100 este mai lentă.
De ce contează p99? O pagină de produs face poate 20 de cereri. Dacă 1% din cereri sunt lente, aproape fiecare a cincea pagină are cel puțin o cerere lentă. Utilizatorii cei mai activi (cei care cumpără mult) văd cel mai des cazurile lente.
Simulatorul calculează doar media latenței (modelul e ilustrativ). În lecții, p99 apare în cerințe ca să te obișnuiești cu termenul.
Încărcarea și latența
Un server cu încărcare mică răspunde repede. Pe măsură ce se apropie de capacitatea maximă, cererile încep să aștepte la coadă și latența crește brusc, nu liniar. E ca la casa de marcat: cu puțini clienți treci imediat, cu casa aproape plină aștepți de câteva ori mai mult.
| Încărcare | Latența proprie a componentei (în simulator) |
|---|---|
| sub 50% | normală |
| 50% | × 1,25 |
| 80% | × 2,6 |
| 95% și peste | × 10, iar peste 100% cererile se pierd |
De aceea regula din industrie este să ții componentele sub ~70–80% încărcare la vârf. Restul este rezerva pentru un val neașteptat de trafic.
Cum îmbunătățești fiecare
| Vrei | Ce ajută |
|---|---|
| Latență mai mică | cod mai eficient, index în bază, cache, CDN aproape de utilizator, mai puține apeluri în serie |
| Debit mai mare | mai multe servere (scalare orizontală), mașini mai mari, cozi pentru lucrul care poate aștepta |
Primul pas este mereu măsurarea: unde se duce timpul? Abia apoi alegi soluția. În exercițiu, serverul de aplicație pierde 150 ms pe fiecare cerere, pentru că recalculează de fiecare dată lista de recomandări.
Pe scurt
- Latența = cât durează o cerere (ms); debitul = câte cereri pe secundă.
- Latența totală = suma pașilor; optimizezi întâi pasul cel mai lent.
- p99 = valoarea sub care se încadrează 99% din cereri; media ascunde cazurile lente.
- Peste ~80% încărcare latența crește brusc; ține componentele cu rezervă.
Citirile MagazinPlus durează peste 200 ms, pentru că serverul de aplicație pierde 150 ms pe fiecare cerere. Optimizează codul: setează Timp de procesare (ms) la cel mult 40, ca citirile să scadă sub 150 ms.
- În tab-ul Simulare, uită-te la latența citirilor și la defalcarea ei.
- Atinge Server aplicație și scade Timp de procesare (ms) la cel mult 40.
- Verifică din nou latența citirilor (sub 150 ms).
Soluția exercițiului
Atinge Server aplicație → Timp de procesare (ms) = 40 (sau mai puțin). Latența citirilor scade de la ~235 ms la ~118 ms.
