...
Eroare System Design · Baza de date: conexiuni, lock-uri, interogări lente

Baza primară saturată de scrieri, iar replicile nu ajută

Pe scurt

Scrierile ajung toate la o singură bază primară, iar replicile nu pot prelua scrieri (le primesc și ele, prin replicare). Când volumul de scrieri depășește o mașină, împarte datele pe shard-uri după o cheie bine aleasă (de exemplu `client_id`), fiecare shard cu primara lui.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

La citiri, soluțiile sunt simple: cache și replici. La scrieri, nu: fiecare INSERT sau UPDATE trebuie aplicat pe primară (cu index, log de tranzacții, fsync), iar apoi pe fiecare replică. Adăugarea de replici nu reduce munca primarei; o crește ușor.

Semnele: CPU și I/O mare pe primară deși citirile sunt în cache, latența scrierilor crește, lock-urile durează mai mult, iar replicile rămân în urmă. Scalarea verticală ajută o vreme, apoi ajungi la cea mai mare mașină.

Sharding-ul împarte datele în bucăți independente, fiecare pe propria bază primară. Cheia de sharding decide unde ajunge fiecare rând: cu client_id, toate comenzile unui client sunt pe același shard, deci interogările lui ating o singură bază. Costul: interogările între shard-uri, tranzacțiile distribuite și re-echilibrarea devin mai grele, așa că sharding-ul vine după ce ai epuizat variantele simple.

De ce apare: cauzele frecvente

1Replici adăugate pentru o problemă de scrieri

Greșit
primară (3.000 unități/s) + 3 replici
# 1.500 scrieri/s × 3 unități = 4.500 unități pe primară
Corect
3 shard-uri după client_id, fiecare cu primara lui
# ~1.500 unități/s pe fiecare shard

Replicile primesc aceleași scrieri; shard-urile își împart scrierile.

2Rutare după cheia de sharding

Greșit
Connection c = ds.getConnection();   // aceeași bază pentru toți
Corect
int shard = Math.floorMod(clientId.hashCode(), NR_SHARDURI);
Connection c = shardDs[shard].getConnection();

Aplicația (sau un proxy precum Vitess / Citus) alege shard-ul din cheie, deci fiecare client ajunge mereu pe aceeași bază.

Repară tu

Repară eroarea, direct în pagină

Magazinul are 1.500 de scrieri pe secundă (comenzi, plăți, stoc). Fiecare scriere costă 3 unități, iar primara duce 3.000: e la 150%. Citirile sunt deja în cache. Împarte baza astfel încât toate cererile să fie tratate și toate componentele să fie sub 80%, cu o cheie de sharding pe client.

Indiciu

Replicile nu preiau scrieri; datele trebuie împărțite.

Alte forme ale mesajului

  • WAL write / commit latency high on primary
  • Replica lag increasing under heavy writes

Cum o eviți pe viitor

  • Reduce întâi scrierile inutile: loturi, contoare agregate, date care nu trebuie salvate sincron.
  • Mută scrierile care pot aștepta într-o coadă.
  • Când o primară nu mai ajunge, fă sharding cu o cheie care distribuie uniform și păstrează împreună datele interogate împreună.
  • Ia în calcul baze gândite pentru scrieri distribuite (Cassandra, DynamoDB, CockroachDB).

Întrebări frecvente

Cum aleg cheia de sharding?

O cheie cu multe valori, distribuite uniform, care apare în majoritatea interogărilor (de obicei user_id sau client_id). Data creării e o alegere proastă: toate scrierile noi ajung pe același shard.

Ce se întâmplă cu un JOIN între clienți de pe shard-uri diferite?

Trebuie făcut în aplicație sau într-un sistem de analiză separat. De aceea cheia se alege astfel încât operațiile frecvente să rămână pe un singur shard.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.