...
← Curs System Design: toate lecțiile
Lecția 7 · Arhitectură de bază

Latență și debit

Două cifre descriu viteza unui sistem: latența (cât durează o cerere) și debitul (câte cereri tratează pe secundă). Seamănă, dar nu sunt același lucru, și le îmbunătățești în moduri diferite. În această lecție vezi unde se pierde timpul pe drumul unei cereri, ce înseamnă p99 și de ce un server aproape plin devine brusc lent.

Două întrebări diferite

Latența răspunde la „cât aștept eu, ca utilizator, după o pagină?”. Se măsoară în milisecunde (ms). Debitul (*throughput*) răspunde la „câte cereri poate trata sistemul într-o secundă?”. Se măsoară în cereri pe secundă.

O analogie: o autostradă. Latența este cât durează drumul tău de la București la Pitești. Debitul este câte mașini trec pe autostradă într-o oră. Poți crește debitul adăugând benzi (mai multe servere), dar drumul tău nu devine mai scurt doar pentru că sunt mai multe benzi.

Ordinul de mărime

Utilizatorii simt o întârziere peste ~100 ms și devin nerăbdători peste o secundă. Amazon a măsurat că fiecare 100 ms în plus la încărcarea paginii scade vânzările vizibil.

Unde se pierde timpul

Latența unei cereri este suma timpilor de pe drum. Pentru MagazinPlus, o citire arată cam așa (cifre ilustrative, ca în simulator):

PasTimp tipic
Internetul: client ↔ centrul de date~60 ms (depinde de distanță)
Codul serverului de aplicație~20 ms (sau mult mai mult, dacă e scris ineficient)
Interogarea în baza de date~15 ms (50 ms fără index)
Citire din cache (Redis)~1 ms
Apel la un serviciu extern (plăți)~200 ms

Ca să scazi latența, cauți cel mai mare termen din sumă. Dacă serverul pierde 150 ms într-o buclă ineficientă, nu ajută să optimizezi baza de la 15 la 10 ms.

Media și p99

Cererile nu durează toate la fel. Majoritatea sunt rapide, dar câteva sunt lente (baza era ocupată, un server făcea curățenie în memorie). Media ascunde aceste cazuri. De aceea echipele folosesc percentile:

  • p50 (mediana): jumătate din cereri sunt mai rapide decât această valoare.
  • p95: 95 din 100 de cereri sunt mai rapide.
  • p99: 99 din 100 de cereri sunt mai rapide; doar 1 din 100 este mai lentă.

De ce contează p99? O pagină de produs face poate 20 de cereri. Dacă 1% din cereri sunt lente, aproape fiecare a cincea pagină are cel puțin o cerere lentă. Utilizatorii cei mai activi (cei care cumpără mult) văd cel mai des cazurile lente.

În simulator

Simulatorul calculează doar media latenței (modelul e ilustrativ). În lecții, p99 apare în cerințe ca să te obișnuiești cu termenul.

Încărcarea și latența

Un server cu încărcare mică răspunde repede. Pe măsură ce se apropie de capacitatea maximă, cererile încep să aștepte la coadă și latența crește brusc, nu liniar. E ca la casa de marcat: cu puțini clienți treci imediat, cu casa aproape plină aștepți de câteva ori mai mult.

ÎncărcareLatența proprie a componentei (în simulator)
sub 50%normală
50%× 1,25
80%× 2,6
95% și peste× 10, iar peste 100% cererile se pierd

De aceea regula din industrie este să ții componentele sub ~70–80% încărcare la vârf. Restul este rezerva pentru un val neașteptat de trafic.

Cum îmbunătățești fiecare

VreiCe ajută
Latență mai micăcod mai eficient, index în bază, cache, CDN aproape de utilizator, mai puține apeluri în serie
Debit mai maremai multe servere (scalare orizontală), mașini mai mari, cozi pentru lucrul care poate aștepta

Primul pas este mereu măsurarea: unde se duce timpul? Abia apoi alegi soluția. În exercițiu, serverul de aplicație pierde 150 ms pe fiecare cerere, pentru că recalculează de fiecare dată lista de recomandări.

Pe scurt

  • Latența = cât durează o cerere (ms); debitul = câte cereri pe secundă.
  • Latența totală = suma pașilor; optimizezi întâi pasul cel mai lent.
  • p99 = valoarea sub care se încadrează 99% din cereri; media ascunde cazurile lente.
  • Peste ~80% încărcare latența crește brusc; ține componentele cu rezervă.
Exercițiul tău

Citirile MagazinPlus durează peste 200 ms, pentru că serverul de aplicație pierde 150 ms pe fiecare cerere. Optimizează codul: setează Timp de procesare (ms) la cel mult 40, ca citirile să scadă sub 150 ms.

  • În tab-ul Simulare, uită-te la latența citirilor și la defalcarea ei.
  • Atinge Server aplicație și scade Timp de procesare (ms) la cel mult 40.
  • Verifică din nou latența citirilor (sub 150 ms).
Latența = internet (~60 ms) + server + bază (~15 ms). Cu serverul la 150 ms ești peste 200 ms; cu 40 ms ajungi pe la 120 ms.

Soluția exercițiului

Atinge Server aplicație → Timp de procesare (ms) = 40 (sau mai puțin).
Latența citirilor scade de la ~235 ms la ~118 ms.
Excelent! Continuă cu lecția următoare →
ArhitecturăSystem Design
VerificareSe încarcă...
Mediul de lucru se încarcă. Poți citi lecția între timp.
Parcursul tău Fundamente System Design Lecția 7 · Latență și debit
Progres 0% 0 din 12
Lecția curentă 7 / 10 Arhitectură de bază