Shard-uri fără cheie de sharding: fiecare interogare ajunge pe toate shard-urile (scatter-gather)
Datele sunt împărțite pe mai multe shard-uri, dar fără o cheie clară după care să găsești shard-ul potrivit, așa că fiecare interogare trebuie trimisă la toate și rezultatele adunate. Alege o cheie de sharding prezentă în interogările frecvente (de exemplu `user_id`) și rutează după ea.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Sharding-ul are sens doar dacă poți spune, pentru o cerere, pe ce shard sunt datele. Cheia de sharding (de exemplu user_id) intră într-o funcție (hash, interval, tabel de căutare) care dă shard-ul. Dacă interogarea conține cheia, ajunge la un singur shard; dacă nu, trebuie trimisă la toate (scatter-gather).
Scatter-gather e scump: fiecare cerere încarcă toate shard-urile, latența e dată de cel mai lent dintre ele, iar o problemă pe un shard afectează toate cererile. Practic, ai pierdut beneficiul împărțirii.
Situația apare când datele au fost împărțite mecanic (de exemplu round robin la inserare), când cheia aleasă nu apare în interogările principale, sau când un ecran nou caută după altă coloană. Pentru căutări după alte coloane se folosesc indexuri globale sau un motor de căutare separat, nu scatter-gather pe fiecare cerere.
De ce apare: cauzele frecvente
1Rânduri împărțite fără cheie
shard = contorInserari++ % 4; // round robin la scriere
// la citire: nu știi unde e comanda -> întrebi toate shard-urileshard = Math.floorMod(Long.hashCode(userId), 4);
// citire: același calcul, un singur shardCu o funcție de cheie, scrierea și citirea ajung la același shard fără căutare.
2Interogare frecventă fără cheia de sharding
SELECT * FROM comenzi WHERE numar_comanda = 'MP-2026-118'; -- shard după user_id-- numărul comenzii conține user_id-ul sau există un index global numar_comanda -> user_idInterogarea primește din nou cheia, deci ajunge la un singur shard.
Repară eroarea, direct în pagină
Baza SQL a fost împărțită pe 4 shard-uri, dar nu are nicio cheie de sharding: simularea arată eroarea, iar fiecare interogare ar trebui trimisă la toate shard-urile. Alege o cheie după utilizator, ca fiecare cerere să ajungă pe un singur shard.
Indiciu
Interogările principale ale aplicației sunt „comenzile mele”, „profilul meu”, „coșul meu”.
Reparația
1. Atinge Bază SQL primară. 2. Cheie de sharding = user_id.
Rezultat: avertismentul dispare, fiecare cerere ajunge pe un singur shard.
De ce merge
Fără cheie, shard-urile nu au o regulă de împărțire și aplicația nu știe unde e un rând. Cu user_id, datele unui utilizator stau pe același shard, iar cererile lui ating o singură bază.
Alte forme ale mesajului
Scatter-gather query across all shardsVitess: query has no shard key, scattering to all shards
Cum o eviți pe viitor
- Alege cheia de sharding după interogările cele mai frecvente.
- Include cheia în identificatorii expuși (de exemplu în id-ul comenzii).
- Pentru căutări pe alte coloane, folosește un index global sau un motor de căutare.
- Monitorizează procentul de interogări scatter-gather.
Întrebări frecvente
Scatter-gather e mereu greșit?
Nu, pentru rapoarte rare sau interogări administrative e acceptabil. Problema apare când e drumul obișnuit al cererilor utilizatorilor.
Hash sau intervale?
Hash-ul distribuie uniform, dar interogările pe intervale (de la X la Y) ating toate shard-urile. Intervalele păstrează ordinea, dar riscă shard-uri fierbinți la valorile noi.
Erori înrudite
Un shard la 100%, celelalte aproape libere: cheie de sharding după dată Cheia de sharding după dată (sau după un id crescător, pe intervale) trimite toate scrierile noi pe același shard, care devine fierbinte, în timp ce shard-urile cu date vechi stau aproape libere. Alege o cheie cu multe valori, accesate uniform (de exemplu `client_id` cu hash). Baza primară saturată de scrieri, iar replicile nu ajută Scrierile ajung toate la o singură bază primară, iar replicile nu pot prelua scrieri (le primesc și ele, prin replicare). Când volumul de scrieri depășește o mașină, împarte datele pe shard-uri după o cheie bine aleasă (de exemplu `client_id`), fiecare shard cu primara lui. ProvisionedThroughputExceededException: The level of configured provisioned throughput for the table was exceeded. DynamoDB a limitat cererile pentru că au depășit capacitatea configurată, de multe ori nu a tabelei întregi, ci a unei singure partiții spre care merg prea multe cereri (hot partition). Alege o cheie de partiție cu multe valori distribuite uniform și împarte cheile fierbinți cu sufixe. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
