...
Eroare System Design · Replicare, sharding și consistență

Duplicate entry for key 'PRIMARY': id-uri duplicate după sharding cu auto-increment

Pe scurt

Fiecare shard (sau fiecare bază dintr-un setup multi-primar) generează id-uri cu propriul `AUTO_INCREMENT`, deci comenzi diferite primesc același id, iar coliziunile apar la unirea datelor, la mutarea între shard-uri sau în sistemele care caută după id. Folosește id-uri unice global: UUID v7, Snowflake sau secvențe cu pas diferit pe fiecare shard.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Cu o singură bază, AUTO_INCREMENT / SERIAL / IDENTITY garantează id-uri unice. După sharding, fiecare shard are contorul lui și începe tot de la 1. Comanda 1001 de pe shard-ul A și comanda 1001 de pe shard-ul B sunt lucruri diferite cu același id. Problemele apar la rebalansarea datelor (mutarea unui client pe alt shard dă Duplicate entry '1001' for key 'PRIMARY'), în data warehouse, în cache-uri și în orice serviciu care identifică o comandă doar după id.

Aceeași problemă apare la replicarea multi-primar (două baze care acceptă scrieri) și la importuri dintr-un sistem în altul.

Soluțiile generează id-uri unice fără coordonare la fiecare inserare: UUID (v7 e ordonat în timp, deci prietenos cu indexurile), Snowflake (64 de biți: timp, id-ul nodului, secvență) sau secvențe intercalate (shard-ul 1: 1, 5, 9..., shard-ul 2: 2, 6, 10...), care însă complică adăugarea de shard-uri.

De ce apare: cauzele frecvente

1Auto-increment independent pe fiecare shard

Greșit
CREATE TABLE comenzi (id BIGINT AUTO_INCREMENT PRIMARY KEY, ...);   -- pe fiecare shard
Corect
CREATE TABLE comenzi (id BINARY(16) PRIMARY KEY, ...);
-- id = UUID v7 generat de aplicație

Id-ul e unic global și ordonat aproximativ în timp.

2Secvențe intercalate (MySQL)

Greșit
# toate shard-urile: auto_increment_increment = 1
Corect
# shard 1: auto_increment_increment = 4, auto_increment_offset = 1
# shard 2: auto_increment_increment = 4, auto_increment_offset = 2

Fiecare shard generează id-uri dintr-o clasă de resturi diferită; adăugarea unui shard nou cere replanificare.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre id-urile duplicate apărute după sharding.

Indiciu

De la ce valoare pornește contorul fiecărui shard?

Alte forme ale mesajului

  • ERROR 1062 (23000): Duplicate entry '1001' for key 'PRIMARY'
  • ERROR: duplicate key value violates unique constraint "comenzi_pkey"

Cum o eviți pe viitor

  • Alege schema de id-uri înainte de sharding.
  • Folosește UUID v7 sau Snowflake pentru id-uri unice global.
  • Nu expune id-uri secvențiale în URL-uri publice, dacă dezvăluie volumul.
  • Include cheia de shard în identificatori, unde ajută la rutare.

Întrebări frecvente

UUID-ul ocupă mai mult spațiu. Contează?

16 octeți față de 8, deci indexuri ceva mai mari. La majoritatea aplicațiilor, prețul e mic față de simplitatea id-urilor unice global.

Ce e Snowflake?

O schemă de id-uri pe 64 de biți introdusă de Twitter: milisecunda curentă, id-ul mașinii și un contor local. Unice, ordonate în timp, fără coordonare.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.