Cache avalanche: baza de date cade când cache-ul repornește sau se golește
Baza a fost dimensionată doar pentru ratările cache-ului; când cache-ul pică, e golit (flush, deploy) sau multe chei expiră deodată, toate citirile ajung în bază și o supraîncarcă. Dimensionează baza (replici) să supraviețuiască fără cache, încălzește cache-ul înainte de trafic și împrăștie expirările.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Cu un cache de 90% hit, baza vede doar 10% din citiri. E ușor să uiți asta și să dimensionezi baza pentru acel 10%. Apoi, într-o zi, nodul Redis repornește, cineva rulează FLUSHALL, un deploy schimbă formatul cheilor sau toate cheile încărcate la pornire expiră în același minut. Brusc, baza primește de zece ori mai multe citiri decât a văzut vreodată, latența explodează, iar aplicația cade, deși „doar cache-ul” a avut o problemă.
E o cădere în cascadă clasică: o componentă considerată opțională devine, în practică, critică. Întrebarea de design e: ce se întâmplă dacă cache-ul e gol? Răspunsuri bune: baza (cu replicile ei) duce traficul fără cache, eventual degradat; cache-ul are replici și persistență; cheile au TTL cu jitter; după un deploy, cache-ul se încălzește treptat; un rate limiter sau circuit breaker protejează baza.
De ce apare: cauzele frecvente
1Bază dimensionată doar pentru ratări
citiri: 8.000/s, hit 90% -> 800/s în bază
baza: 3.000 unități/s # fără cache: 8.000 -> 270%baza primară + 2 replici de citire
# fără cache: ~8.000 citiri împărțite pe 3 bazeReplicile dau bazei capacitatea de a supraviețui unei perioade fără cache.
2Format nou al cheilor la deploy
cheie = f'produs:{id}' -> f'produs:v2:{id}' # toate cheile vechi devin inutile deodată# deploy treptat (canary) + încălzirea cheilor populare înainte de mutarea traficuluiSchimbarea bruscă a cheilor e echivalentă cu golirea cache-ului.
Repară eroarea, direct în pagină
Cache-ul are 90% hit, iar baza e la doar ~33% încărcare. Dar când cache-ul repornește, toate cele 8.000 de citiri pe secundă ajung în baza primară, care cade. Fă ca sistemul să trateze toate cererile și cu cache-ul căzut, fără să schimbi cache-ul.
Indiciu
Ai nevoie de capacitate de citire în plus pentru momentul în care cache-ul lipsește.
Reparația
1. Adaugă trei Replici SQL (citire); fiecare conectată Bază SQL primară → Replică și Server aplicație → Replică.
Rezultat: fără cache, ~8.000 de citiri se împart pe 3 replici (~2.700 fiecare), iar primara rămâne pentru scrieri.
De ce merge
Fără cache, 8.000 de citiri pe secundă depășesc mult capacitatea unei singure baze. Cu replici de citire (conectate de la primară și folosite de server), citirile se împart, iar sistemul supraviețuiește repornirii cache-ului.
Alte forme ale mesajului
Cache avalancheDatabase overload after Redis restartCold cache after deployment
Cum o eviți pe viitor
- Testează scenariul „cache gol”: ce încărcare primește baza și cât rezistă.
- Dă bazei capacitate de citire (replici) pentru acest scenariu.
- Rulează cache-ul cu replici și persistență; nu goli tot cache-ul în producție.
- Adaugă jitter la TTL și încălzește cache-ul după deploy.
Întrebări frecvente
Cache-ul nu trebuie să fie opțional?
Ar trebui, dar de multe ori nu e. Dacă sistemul nu supraviețuiește fără el, cache-ul e de fapt o componentă critică și trebuie tratat ca atare (replici, monitorizare, plan de cădere).
Cum încălzesc cache-ul?
Încarci în cache cheile cele mai populare (din statistici sau loguri) înainte să trimiți traficul, sau muți traficul treptat, ca cache-ul să se umple fără un val de ratări.
Erori înrudite
Cache stampede (thundering herd): baza cade când expiră o cheie populară Când o cheie foarte citită expiră, toate cererile din acel moment ratează cache-ul și merg simultan în bază să recalculeze aceeași valoare, iar baza se supraîncarcă. Lasă o singură cerere să recalculeze (lock / single-flight), reîmprospătează cheia înainte să expire și adaugă jitter la TTL. Baza de date primară la 100% CPU din cauza citirilor Majoritatea interogărilor sunt citiri, iar baza primară, singura care le servește, a ajuns la limită. Mută citirile pe replici de citire (read replicas) și pune un cache în față pentru datele citite des; primara rămâne pentru scrieri. Cădere în cascadă: un serviciu lent oprește și serviciile care depind de el O dependență devine lentă sau cade, iar serviciile care o apelează sincron își blochează thread-urile și conexiunile așteptând-o, apoi cad și ele, iar căderea se propagă în tot sistemul. Pune timeout-uri scurte, circuit breaker, bulkhead-uri și degradare grațioasă la fiecare apel spre altă componentă. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
