Baza primară saturată de scrieri, iar replicile nu ajută
Scrierile ajung toate la o singură bază primară, iar replicile nu pot prelua scrieri (le primesc și ele, prin replicare). Când volumul de scrieri depășește o mașină, împarte datele pe shard-uri după o cheie bine aleasă (de exemplu `client_id`), fiecare shard cu primara lui.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
La citiri, soluțiile sunt simple: cache și replici. La scrieri, nu: fiecare INSERT sau UPDATE trebuie aplicat pe primară (cu index, log de tranzacții, fsync), iar apoi pe fiecare replică. Adăugarea de replici nu reduce munca primarei; o crește ușor.
Semnele: CPU și I/O mare pe primară deși citirile sunt în cache, latența scrierilor crește, lock-urile durează mai mult, iar replicile rămân în urmă. Scalarea verticală ajută o vreme, apoi ajungi la cea mai mare mașină.
Sharding-ul împarte datele în bucăți independente, fiecare pe propria bază primară. Cheia de sharding decide unde ajunge fiecare rând: cu client_id, toate comenzile unui client sunt pe același shard, deci interogările lui ating o singură bază. Costul: interogările între shard-uri, tranzacțiile distribuite și re-echilibrarea devin mai grele, așa că sharding-ul vine după ce ai epuizat variantele simple.
De ce apare: cauzele frecvente
1Replici adăugate pentru o problemă de scrieri
primară (3.000 unități/s) + 3 replici
# 1.500 scrieri/s × 3 unități = 4.500 unități pe primară3 shard-uri după client_id, fiecare cu primara lui
# ~1.500 unități/s pe fiecare shardReplicile primesc aceleași scrieri; shard-urile își împart scrierile.
2Rutare după cheia de sharding
Connection c = ds.getConnection(); // aceeași bază pentru toțiint shard = Math.floorMod(clientId.hashCode(), NR_SHARDURI);
Connection c = shardDs[shard].getConnection();Aplicația (sau un proxy precum Vitess / Citus) alege shard-ul din cheie, deci fiecare client ajunge mereu pe aceeași bază.
Repară eroarea, direct în pagină
Magazinul are 1.500 de scrieri pe secundă (comenzi, plăți, stoc). Fiecare scriere costă 3 unități, iar primara duce 3.000: e la 150%. Citirile sunt deja în cache. Împarte baza astfel încât toate cererile să fie tratate și toate componentele să fie sub 80%, cu o cheie de sharding pe client.
Indiciu
Replicile nu preiau scrieri; datele trebuie împărțite.
Reparația
1. Atinge Bază SQL primară. 2. Shard-uri = 3, Cheie de sharding = client_id.
Rezultat: scrierile se împart pe 3 shard-uri, fiecare sub 60%.
De ce merge
4.500 de unități de scriere pe o bază de 3.000 nu pot fi rezolvate cu replici. Cu 3 shard-uri după client_id, fiecare shard primește aproximativ o treime din scrieri, iar încărcarea scade sub 60%.
Alte forme ale mesajului
WAL write / commit latency high on primaryReplica lag increasing under heavy writes
Cum o eviți pe viitor
- Reduce întâi scrierile inutile: loturi, contoare agregate, date care nu trebuie salvate sincron.
- Mută scrierile care pot aștepta într-o coadă.
- Când o primară nu mai ajunge, fă sharding cu o cheie care distribuie uniform și păstrează împreună datele interogate împreună.
- Ia în calcul baze gândite pentru scrieri distribuite (Cassandra, DynamoDB, CockroachDB).
Întrebări frecvente
Cum aleg cheia de sharding?
O cheie cu multe valori, distribuite uniform, care apare în majoritatea interogărilor (de obicei user_id sau client_id). Data creării e o alegere proastă: toate scrierile noi ajung pe același shard.
Ce se întâmplă cu un JOIN între clienți de pe shard-uri diferite?
Trebuie făcut în aplicație sau într-un sistem de analiză separat. De aceea cheia se alege astfel încât operațiile frecvente să rămână pe un singur shard.
Erori înrudite
Shard-uri fără cheie de sharding: fiecare interogare ajunge pe toate shard-urile (scatter-gather) Datele sunt împărțite pe mai multe shard-uri, dar fără o cheie clară după care să găsești shard-ul potrivit, așa că fiecare interogare trebuie trimisă la toate și rezultatele adunate. Alege o cheie de sharding prezentă în interogările frecvente (de exemplu `user_id`) și rutează după ea. ProvisionedThroughputExceededException: The level of configured provisioned throughput for the table was exceeded. DynamoDB a limitat cererile pentru că au depășit capacitatea configurată, de multe ori nu a tabelei întregi, ci a unei singure partiții spre care merg prea multe cereri (hot partition). Alege o cheie de partiție cu multe valori distribuite uniform și împarte cheile fierbinți cu sufixe. Baza de date primară la 100% CPU din cauza citirilor Majoritatea interogărilor sunt citiri, iar baza primară, singura care le servește, a ajuns la limită. Mută citirile pe replici de citire (read replicas) și pune un cache în față pentru datele citite des; primara rămâne pentru scrieri. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
