Un shard la 100%, celelalte aproape libere: cheie de sharding după dată
Cheia de sharding după dată (sau după un id crescător, pe intervale) trimite toate scrierile noi pe același shard, care devine fierbinte, în timp ce shard-urile cu date vechi stau aproape libere. Alege o cheie cu multe valori, accesate uniform (de exemplu `client_id` cu hash).
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Un sharding bun împarte uniform și datele, și traficul. Cheile monotone (data creării, id-uri auto-increment folosite pe intervale) împart bine datele în timp, dar traficul deloc: aproape toată activitatea e pe datele recente, deci pe ultimul shard. Rezultatul: un shard la 100% CPU, cu latență mare, și celelalte la câteva procente.
Alte forme ale aceleiași probleme: un tenant foarte mare pe un singur shard, o cheie cu puține valori (țara, statusul), sau o distribuție hash făcută pe o coloană în care o valoare domină.
Re-sharding-ul pe o cheie nouă înseamnă mutarea datelor, deci e mult mai ieftin să alegi corect de la început. Întreabă: ce valori ale cheii primesc cele mai multe cereri acum și în viitor? Dacă răspunsul e „cele mai noi”, cheia e proastă pentru trafic.
De ce apare: cauzele frecvente
1Intervale după dată
shard 1: ian–mar, shard 2: apr–iun, shard 3: iul–sep, shard 4: oct–dec
# în noiembrie, toate scrierile pe shard-ul 4shard = hash(client_id) % 4
# comenzile din noiembrie se împart pe toate shard-urileHash-ul pe o cheie cu multe valori amestecă datele noi pe toate shard-urile.
2Tenant mare pe un singur shard
shard = hash(firma_id) % 8 # o firmă are jumătate din traficshard = hash(firma_id, utilizator_id) % 8 # pentru firmele mari, cheie compusăCheia compusă împarte și clienții mari pe mai multe shard-uri.
Repară eroarea, direct în pagină
Baza are 4 shard-uri cu cheia data_comenzii, iar shard-ul cu luna curentă primește toate scrierile. Răspunde la întrebarea din Quiz și schimbă cheia de sharding cu una după client, care împarte uniform comenzile noi.
Indiciu
Cheia bună are multe valori și nu crește odată cu timpul.
Reparația
- Quiz: Toate pe shard-ul cu intervalul curent.
- Bază SQL → Cheie de sharding =
client_id.
Rezultat: comenzile noi se împart pe toate shard-urile.
De ce merge
Cu cheia după dată, toate comenzile noi cad pe ultimul shard. Cu client_id (hash), comenzile de azi se împart pe toate shard-urile, iar încărcarea devine uniformă.
Alte forme ale mesajului
Hot shard: uneven load across shardsShard 4 CPU 100%, shards 1-3 idle
Cum o eviți pe viitor
- Evită cheile monotone (dată, id crescător) pentru împărțirea pe intervale.
- Preferă hash pe o cheie cu multe valori, prezentă în interogările principale.
- Monitorizează încărcarea pe fiecare shard, nu doar media.
- Planifică dinainte cum muți un tenant mare.
Întrebări frecvente
Totuși, pentru date istorice (loguri), partiționarea pe dată e bună, nu?
Da, în interiorul unei baze (partiții de tabel) e excelentă pentru ștergerea datelor vechi și pentru interogări pe intervale. Problema apare când e folosită pentru a împărți traficul de scriere între mașini.
Ce e consistent hashing?
O metodă de a alege nodul după hash astfel încât, la adăugarea unui nod, să se mute doar o mică parte din chei, nu toate. E folosit în Cassandra, DynamoDB și în cache-urile distribuite.
Erori înrudite
Shard-uri fără cheie de sharding: fiecare interogare ajunge pe toate shard-urile (scatter-gather) Datele sunt împărțite pe mai multe shard-uri, dar fără o cheie clară după care să găsești shard-ul potrivit, așa că fiecare interogare trebuie trimisă la toate și rezultatele adunate. Alege o cheie de sharding prezentă în interogările frecvente (de exemplu `user_id`) și rutează după ea. ProvisionedThroughputExceededException: The level of configured provisioned throughput for the table was exceeded. DynamoDB a limitat cererile pentru că au depășit capacitatea configurată, de multe ori nu a tabelei întregi, ci a unei singure partiții spre care merg prea multe cereri (hot partition). Alege o cheie de partiție cu multe valori distribuite uniform și împarte cheile fierbinți cu sufixe. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
