...
Eroare System Design · Replicare, sharding și consistență

Un shard la 100%, celelalte aproape libere: cheie de sharding după dată

Pe scurt

Cheia de sharding după dată (sau după un id crescător, pe intervale) trimite toate scrierile noi pe același shard, care devine fierbinte, în timp ce shard-urile cu date vechi stau aproape libere. Alege o cheie cu multe valori, accesate uniform (de exemplu `client_id` cu hash).

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Un sharding bun împarte uniform și datele, și traficul. Cheile monotone (data creării, id-uri auto-increment folosite pe intervale) împart bine datele în timp, dar traficul deloc: aproape toată activitatea e pe datele recente, deci pe ultimul shard. Rezultatul: un shard la 100% CPU, cu latență mare, și celelalte la câteva procente.

Alte forme ale aceleiași probleme: un tenant foarte mare pe un singur shard, o cheie cu puține valori (țara, statusul), sau o distribuție hash făcută pe o coloană în care o valoare domină.

Re-sharding-ul pe o cheie nouă înseamnă mutarea datelor, deci e mult mai ieftin să alegi corect de la început. Întreabă: ce valori ale cheii primesc cele mai multe cereri acum și în viitor? Dacă răspunsul e „cele mai noi”, cheia e proastă pentru trafic.

De ce apare: cauzele frecvente

1Intervale după dată

Greșit
shard 1: ian–mar, shard 2: apr–iun, shard 3: iul–sep, shard 4: oct–dec
# în noiembrie, toate scrierile pe shard-ul 4
Corect
shard = hash(client_id) % 4
# comenzile din noiembrie se împart pe toate shard-urile

Hash-ul pe o cheie cu multe valori amestecă datele noi pe toate shard-urile.

2Tenant mare pe un singur shard

Greșit
shard = hash(firma_id) % 8   # o firmă are jumătate din trafic
Corect
shard = hash(firma_id, utilizator_id) % 8   # pentru firmele mari, cheie compusă

Cheia compusă împarte și clienții mari pe mai multe shard-uri.

Repară tu

Repară eroarea, direct în pagină

Baza are 4 shard-uri cu cheia data_comenzii, iar shard-ul cu luna curentă primește toate scrierile. Răspunde la întrebarea din Quiz și schimbă cheia de sharding cu una după client, care împarte uniform comenzile noi.

Indiciu

Cheia bună are multe valori și nu crește odată cu timpul.

Alte forme ale mesajului

  • Hot shard: uneven load across shards
  • Shard 4 CPU 100%, shards 1-3 idle

Cum o eviți pe viitor

  • Evită cheile monotone (dată, id crescător) pentru împărțirea pe intervale.
  • Preferă hash pe o cheie cu multe valori, prezentă în interogările principale.
  • Monitorizează încărcarea pe fiecare shard, nu doar media.
  • Planifică dinainte cum muți un tenant mare.

Întrebări frecvente

Totuși, pentru date istorice (loguri), partiționarea pe dată e bună, nu?

Da, în interiorul unei baze (partiții de tabel) e excelentă pentru ștergerea datelor vechi și pentru interogări pe intervale. Problema apare când e folosită pentru a împărți traficul de scriere între mașini.

Ce e consistent hashing?

O metodă de a alege nodul după hash astfel încât, la adăugarea unui nod, să se mute doar o mică parte din chei, nu toate. E folosit în Cassandra, DynamoDB și în cache-urile distribuite.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.