Duplicate entry for key 'PRIMARY': id-uri duplicate după sharding cu auto-increment
Fiecare shard (sau fiecare bază dintr-un setup multi-primar) generează id-uri cu propriul `AUTO_INCREMENT`, deci comenzi diferite primesc același id, iar coliziunile apar la unirea datelor, la mutarea între shard-uri sau în sistemele care caută după id. Folosește id-uri unice global: UUID v7, Snowflake sau secvențe cu pas diferit pe fiecare shard.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Cu o singură bază, AUTO_INCREMENT / SERIAL / IDENTITY garantează id-uri unice. După sharding, fiecare shard are contorul lui și începe tot de la 1. Comanda 1001 de pe shard-ul A și comanda 1001 de pe shard-ul B sunt lucruri diferite cu același id. Problemele apar la rebalansarea datelor (mutarea unui client pe alt shard dă Duplicate entry '1001' for key 'PRIMARY'), în data warehouse, în cache-uri și în orice serviciu care identifică o comandă doar după id.
Aceeași problemă apare la replicarea multi-primar (două baze care acceptă scrieri) și la importuri dintr-un sistem în altul.
Soluțiile generează id-uri unice fără coordonare la fiecare inserare: UUID (v7 e ordonat în timp, deci prietenos cu indexurile), Snowflake (64 de biți: timp, id-ul nodului, secvență) sau secvențe intercalate (shard-ul 1: 1, 5, 9..., shard-ul 2: 2, 6, 10...), care însă complică adăugarea de shard-uri.
De ce apare: cauzele frecvente
1Auto-increment independent pe fiecare shard
CREATE TABLE comenzi (id BIGINT AUTO_INCREMENT PRIMARY KEY, ...); -- pe fiecare shardCREATE TABLE comenzi (id BINARY(16) PRIMARY KEY, ...);
-- id = UUID v7 generat de aplicațieId-ul e unic global și ordonat aproximativ în timp.
2Secvențe intercalate (MySQL)
# toate shard-urile: auto_increment_increment = 1# shard 1: auto_increment_increment = 4, auto_increment_offset = 1
# shard 2: auto_increment_increment = 4, auto_increment_offset = 2Fiecare shard generează id-uri dintr-o clasă de resturi diferită; adăugarea unui shard nou cere replanificare.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre id-urile duplicate apărute după sharding.
Indiciu
De la ce valoare pornește contorul fiecărui shard?
Reparația
- q1: Shard-uri diferite generează aceleași id-uri.
- q2: UUID v7, Snowflake, secvențe intercalate.
- q3: Adevărat.
De ce merge
Contoarele locale nu știu unele de altele. Id-urile unice global (UUID v7, Snowflake) sau secvențele intercalate elimină coliziunile fără un contor central.
Alte forme ale mesajului
ERROR 1062 (23000): Duplicate entry '1001' for key 'PRIMARY'ERROR: duplicate key value violates unique constraint "comenzi_pkey"
Cum o eviți pe viitor
- Alege schema de id-uri înainte de sharding.
- Folosește UUID v7 sau Snowflake pentru id-uri unice global.
- Nu expune id-uri secvențiale în URL-uri publice, dacă dezvăluie volumul.
- Include cheia de shard în identificatori, unde ajută la rutare.
Întrebări frecvente
UUID-ul ocupă mai mult spațiu. Contează?
16 octeți față de 8, deci indexuri ceva mai mari. La majoritatea aplicațiilor, prețul e mic față de simplitatea id-urilor unice global.
Ce e Snowflake?
O schemă de id-uri pe 64 de biți introdusă de Twitter: milisecunda curentă, id-ul mașinii și un contor local. Unice, ordonate în timp, fără coordonare.
Erori înrudite
Shard-uri fără cheie de sharding: fiecare interogare ajunge pe toate shard-urile (scatter-gather) Datele sunt împărțite pe mai multe shard-uri, dar fără o cheie clară după care să găsești shard-ul potrivit, așa că fiecare interogare trebuie trimisă la toate și rezultatele adunate. Alege o cheie de sharding prezentă în interogările frecvente (de exemplu `user_id`) și rutează după ea. Un shard la 100%, celelalte aproape libere: cheie de sharding după dată Cheia de sharding după dată (sau după un id crescător, pe intervale) trimite toate scrierile noi pe același shard, care devine fierbinte, în timp ce shard-urile cu date vechi stau aproape libere. Alege o cheie cu multe valori, accesate uniform (de exemplu `client_id` cu hash). Split brain: două noduri primare după o partiție de rețea După o întrerupere de rețea între noduri, ambele părți ale clusterului s-au crezut singure și fiecare a promovat un primar care a acceptat scrieri, deci datele au divergent. Previi cu cvorum (majoritate dintr-un număr impar de noduri), fencing pentru fostul primar și tokenuri de epocă. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
