...
Eroare System Design · Replicare, sharding și consistență

Shard-uri fără cheie de sharding: fiecare interogare ajunge pe toate shard-urile (scatter-gather)

Pe scurt

Datele sunt împărțite pe mai multe shard-uri, dar fără o cheie clară după care să găsești shard-ul potrivit, așa că fiecare interogare trebuie trimisă la toate și rezultatele adunate. Alege o cheie de sharding prezentă în interogările frecvente (de exemplu `user_id`) și rutează după ea.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Sharding-ul are sens doar dacă poți spune, pentru o cerere, pe ce shard sunt datele. Cheia de sharding (de exemplu user_id) intră într-o funcție (hash, interval, tabel de căutare) care dă shard-ul. Dacă interogarea conține cheia, ajunge la un singur shard; dacă nu, trebuie trimisă la toate (scatter-gather).

Scatter-gather e scump: fiecare cerere încarcă toate shard-urile, latența e dată de cel mai lent dintre ele, iar o problemă pe un shard afectează toate cererile. Practic, ai pierdut beneficiul împărțirii.

Situația apare când datele au fost împărțite mecanic (de exemplu round robin la inserare), când cheia aleasă nu apare în interogările principale, sau când un ecran nou caută după altă coloană. Pentru căutări după alte coloane se folosesc indexuri globale sau un motor de căutare separat, nu scatter-gather pe fiecare cerere.

De ce apare: cauzele frecvente

1Rânduri împărțite fără cheie

Greșit
shard = contorInserari++ % 4;   // round robin la scriere
// la citire: nu știi unde e comanda -> întrebi toate shard-urile
Corect
shard = Math.floorMod(Long.hashCode(userId), 4);
// citire: același calcul, un singur shard

Cu o funcție de cheie, scrierea și citirea ajung la același shard fără căutare.

2Interogare frecventă fără cheia de sharding

Greșit
SELECT * FROM comenzi WHERE numar_comanda = 'MP-2026-118';   -- shard după user_id
Corect
-- numărul comenzii conține user_id-ul sau există un index global numar_comanda -> user_id

Interogarea primește din nou cheia, deci ajunge la un singur shard.

Repară tu

Repară eroarea, direct în pagină

Baza SQL a fost împărțită pe 4 shard-uri, dar nu are nicio cheie de sharding: simularea arată eroarea, iar fiecare interogare ar trebui trimisă la toate shard-urile. Alege o cheie după utilizator, ca fiecare cerere să ajungă pe un singur shard.

Indiciu

Interogările principale ale aplicației sunt „comenzile mele”, „profilul meu”, „coșul meu”.

Alte forme ale mesajului

  • Scatter-gather query across all shards
  • Vitess: query has no shard key, scattering to all shards

Cum o eviți pe viitor

  • Alege cheia de sharding după interogările cele mai frecvente.
  • Include cheia în identificatorii expuși (de exemplu în id-ul comenzii).
  • Pentru căutări pe alte coloane, folosește un index global sau un motor de căutare.
  • Monitorizează procentul de interogări scatter-gather.

Întrebări frecvente

Scatter-gather e mereu greșit?

Nu, pentru rapoarte rare sau interogări administrative e acceptabil. Problema apare când e drumul obișnuit al cererilor utilizatorilor.

Hash sau intervale?

Hash-ul distribuie uniform, dar interogările pe intervale (de la X la Y) ating toate shard-urile. Intervalele păstrează ordinea, dar riscă shard-uri fierbinți la valorile noi.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.