Split brain: două noduri primare după o partiție de rețea
După o întrerupere de rețea între noduri, ambele părți ale clusterului s-au crezut singure și fiecare a promovat un primar care a acceptat scrieri, deci datele au divergent. Previi cu cvorum (majoritate dintr-un număr impar de noduri), fencing pentru fostul primar și tokenuri de epocă.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Failover-ul automat promovează o replică atunci când primara pare căzută. Problema e că „pare căzută” poate însemna și „nu o mai văd eu”: o partiție de rețea desparte clusterul, primara veche rulează mai departe și primește scrieri de la clienții din partea ei, iar în cealaltă parte se promovează un nou primar. Acum există două surse de adevăr.
Când rețeaua revine, cele două istorii nu se pot uni automat: comenzi, plăți sau solduri scrise pe ambele părți trebuie reconciliate manual, iar unele modificări se pierd. Simptomele tipice: date care „dispar” după reconectare, conflicte de chei, replici care refuză să se resincronizeze.
Sistemele serioase de consens (Raft, Paxos, folosite în etcd, Patroni cu etcd, MongoDB, Kafka KRaft) aleg liderul doar cu majoritatea nodurilor, deci doar o parte a partiției poate scrie. În plus, fostul primar trebuie oprit sau izolat (fencing), iar fiecare lider are un număr de termen care face respinse scrierile liderilor vechi.
De ce apare: cauzele frecvente
1Două noduri, failover pe baza unui heartbeat
nod A (primar) <---> nod B (replică)
# B nu mai primește heartbeat -> se promovează
# A rulează în continuare3 membri de consens (etcd) + Patroni
# liderul se alege doar cu 2 din 3 voturi
# fostul primar fără cvorum trece read-onlyCu un număr impar de votanți, doar partea cu majoritatea poate avea primar.
2Fostul primar acceptă scrieri după failover
# aplicația are adresa fixă a nodului A# aplicația scrie prin adresa liderului curent (VIP / DNS gestionat de cluster)
# fencing: nodul A e oprit sau izolat de stocareClienții nu mai pot ajunge la fostul primar, iar acesta nu mai poate scrie.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre split brain într-un cluster de baze de date.
Indiciu
Gândește-te ce vede fiecare parte a clusterului după ce rețeaua dintre ele se întrerupe.
Reparația
- q1: Două noduri se cred simultan primare și acceptă scrieri.
- q2: Ca doar o parte să poată avea majoritatea după o partiție.
- q3: cvorum, fencing, token de epocă.
De ce merge
Split brain apare când ambele părți ale unei partiții pot alege un lider. Majoritatea dintr-un număr impar de votanți, fencing-ul și tokenurile de termen fac ca doar o parte să poată scrie.
Alte forme ale mesajului
Network partition: two primariesMongoDB: rollback of writes after primary stepdowntwo nodes believe they are the leader
Cum o eviți pe viitor
- Folosește un mecanism de consens (Raft/Paxos) cu număr impar de votanți.
- Configurează fencing pentru fostul primar.
- Conectează aplicațiile la liderul curent, nu la adresa fixă a unui nod.
- Testează partițiile de rețea în mediul de test, nu doar căderea unui nod.
Întrebări frecvente
De ce nu ajung două noduri?
Pentru că la o partiție fiecare vede doar jumătate din cluster și nu are majoritate. Fie niciunul nu poate scrie (indisponibil), fie amândouă scriu (split brain). Al treilea votant rezolvă dilema.
Ce legătură are cu teorema CAP?
La o partiție, sistemul alege: consistență (doar partea cu majoritatea scrie, cealaltă refuză) sau disponibilitate (ambele scriu și reconciliază mai târziu). Split brain e disponibilitatea aleasă fără să fi vrut.
Erori înrudite
Baza primară a căzut și tot site-ul s-a oprit (fără failover) Serverele sunt redundante, dar baza de date are o singură instanță, deci căderea ei oprește toate scrierile și citirile care nu sunt în cache. Adaugă o replică de rezervă cu failover automat (Multi-AZ, Patroni, replica set), ca o copie să preia rolul primarei în câteva zeci de secunde. UnavailableException: Cannot achieve consistency level ALL Ai cerut ca fiecare operație să fie confirmată de toate replicile (consistency level ALL sau „strong”), iar un nod e căzut, deci baza refuză operația. Folosește QUORUM (majoritatea replicilor): rămâi consistent la citire și scriere și tolerezi căderea unui nod din trei. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
