...
Eroare System Design · Replicare, sharding și consistență

Split brain: două noduri primare după o partiție de rețea

Pe scurt

După o întrerupere de rețea între noduri, ambele părți ale clusterului s-au crezut singure și fiecare a promovat un primar care a acceptat scrieri, deci datele au divergent. Previi cu cvorum (majoritate dintr-un număr impar de noduri), fencing pentru fostul primar și tokenuri de epocă.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Failover-ul automat promovează o replică atunci când primara pare căzută. Problema e că „pare căzută” poate însemna și „nu o mai văd eu”: o partiție de rețea desparte clusterul, primara veche rulează mai departe și primește scrieri de la clienții din partea ei, iar în cealaltă parte se promovează un nou primar. Acum există două surse de adevăr.

Când rețeaua revine, cele două istorii nu se pot uni automat: comenzi, plăți sau solduri scrise pe ambele părți trebuie reconciliate manual, iar unele modificări se pierd. Simptomele tipice: date care „dispar” după reconectare, conflicte de chei, replici care refuză să se resincronizeze.

Sistemele serioase de consens (Raft, Paxos, folosite în etcd, Patroni cu etcd, MongoDB, Kafka KRaft) aleg liderul doar cu majoritatea nodurilor, deci doar o parte a partiției poate scrie. În plus, fostul primar trebuie oprit sau izolat (fencing), iar fiecare lider are un număr de termen care face respinse scrierile liderilor vechi.

De ce apare: cauzele frecvente

1Două noduri, failover pe baza unui heartbeat

Greșit
nod A (primar) <---> nod B (replică)
# B nu mai primește heartbeat -> se promovează
# A rulează în continuare
Corect
3 membri de consens (etcd) + Patroni
# liderul se alege doar cu 2 din 3 voturi
# fostul primar fără cvorum trece read-only

Cu un număr impar de votanți, doar partea cu majoritatea poate avea primar.

2Fostul primar acceptă scrieri după failover

Greșit
# aplicația are adresa fixă a nodului A
Corect
# aplicația scrie prin adresa liderului curent (VIP / DNS gestionat de cluster)
# fencing: nodul A e oprit sau izolat de stocare

Clienții nu mai pot ajunge la fostul primar, iar acesta nu mai poate scrie.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre split brain într-un cluster de baze de date.

Indiciu

Gândește-te ce vede fiecare parte a clusterului după ce rețeaua dintre ele se întrerupe.

Alte forme ale mesajului

  • Network partition: two primaries
  • MongoDB: rollback of writes after primary stepdown
  • two nodes believe they are the leader

Cum o eviți pe viitor

  • Folosește un mecanism de consens (Raft/Paxos) cu număr impar de votanți.
  • Configurează fencing pentru fostul primar.
  • Conectează aplicațiile la liderul curent, nu la adresa fixă a unui nod.
  • Testează partițiile de rețea în mediul de test, nu doar căderea unui nod.

Întrebări frecvente

De ce nu ajung două noduri?

Pentru că la o partiție fiecare vede doar jumătate din cluster și nu are majoritate. Fie niciunul nu poate scrie (indisponibil), fie amândouă scriu (split brain). Al treilea votant rezolvă dilema.

Ce legătură are cu teorema CAP?

La o partiție, sistemul alege: consistență (doar partea cu majoritatea scrie, cealaltă refuză) sau disponibilitate (ambele scriu și reconciliază mai târziu). Split brain e disponibilitatea aleasă fără să fi vrut.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.