Cache stampede (thundering herd): baza cade când expiră o cheie populară
Când o cheie foarte citită expiră, toate cererile din acel moment ratează cache-ul și merg simultan în bază să recalculeze aceeași valoare, iar baza se supraîncarcă. Lasă o singură cerere să recalculeze (lock / single-flight), reîmprospătează cheia înainte să expire și adaugă jitter la TTL.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Cache-aside funcționează așa: citești din cache, la ratare citești din bază și pui valoarea în cache. Pentru chei obișnuite e perfect. Pentru o cheie citită de mii de ori pe secundă (pagina principală, un produs viral, configurația aplicației), momentul expirării devine periculos: între prima ratare și momentul în care cineva pune valoarea înapoi trec zeci sau sute de milisecunde, iar în acest timp toate cererile ratează.
Rezultatul e un vârf brusc de interogări identice în bază, la intervale regulate (exact la TTL). Dacă interogarea e scumpă, baza încetinește, recalcularea durează și mai mult, iar fereastra de ratare se lungește: un cerc vicios. În grafice vezi „dinți de fierăstrău” în încărcarea bazei.
Soluțiile reduc numărul de recalculări la una: un lock în Redis (SET cheie:lock 1 NX PX 5000), coalescerea cererilor în aplicație (single-flight), reîmprospătarea în fundal înainte de expirare sau servirea valorii vechi până vine cea nouă.
De ce apare: cauzele frecvente
1Cache-aside naiv pe o cheie fierbinte
def produs(id):
v = redis.get(f'produs:{id}')
if v is None:
v = db.citeste_produs(id) # mii de cereri deodată
redis.setex(f'produs:{id}', 300, v)
return vdef produs(id):
v = redis.get(f'produs:{id}')
if v is None:
if redis.set(f'lock:produs:{id}', 1, nx=True, px=5000):
v = db.citeste_produs(id)
redis.setex(f'produs:{id}', 300 + random.randint(0, 30), v)
redis.delete(f'lock:produs:{id}')
else:
time.sleep(0.05)
return produs(id)
return vDoar cererea care obține lock-ul merge în bază; celelalte așteaptă puțin și citesc valoarea proaspătă din cache.
2Toate cheile create odată, cu același TTL
for p in produse: redis.setex(f'produs:{p.id}', 3600, p) # expiră toate la aceeași orăfor p in produse: redis.setex(f'produs:{p.id}', 3600 + random.randint(0, 600), p)Jitter-ul împrăștie expirările în timp, deci ratările nu mai vin în val.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre cache stampede pe cheia unui produs foarte popular.
Indiciu
Gândește-te ce fac toate cererile din milisecunda în care cheia lipsește.
Reparația
- q1: Mii de cereri ratează cache-ul simultan și lovesc baza cu aceeași interogare.
- q2: lock per cheie, reîmprospătare anticipată, stale-while-revalidate.
- q3: Adevărat.
De ce merge
Problema e numărul de recalculări simultane, nu cache-ul în sine. Lock-ul, reîmprospătarea anticipată și stale-while-revalidate reduc recalculările la una, iar jitter-ul împrăștie expirările.
Alte forme ale mesajului
Thundering herd problemDog-piling on cache missDatabase CPU spike every 5 minutes (cache expiry)
Cum o eviți pe viitor
- Identifică cheile fierbinți și tratează-le special: lock la recalculare sau reîmprospătare în fundal.
- Adaugă jitter la TTL.
- Folosește stale-while-revalidate unde datele puțin vechi sunt acceptabile.
- Urmărește în monitorizare vârfurile periodice de încărcare a bazei.
Întrebări frecvente
E același lucru cu cache avalanche?
Înrudit. Stampede e o singură cheie foarte populară care expiră. Avalanche e expirarea (sau pierderea) multor chei deodată, de exemplu la repornirea cache-ului.
Ce face single-flight?
În interiorul unui proces, grupează cererile concurente pentru aceeași cheie: doar una execută încărcarea, celelalte primesc același rezultat. Biblioteca golang.org/x/sync/singleflight sau Caffeine AsyncLoadingCache fac asta.
Erori înrudite
Cache avalanche: baza de date cade când cache-ul repornește sau se golește Baza a fost dimensionată doar pentru ratările cache-ului; când cache-ul pică, e golit (flush, deploy) sau multe chei expiră deodată, toate citirile ajung în bază și o supraîncarcă. Dimensionează baza (replici) să supraviețuiască fără cache, încălzește cache-ul înainte de trafic și împrăștie expirările. Hot key: o singură cheie Redis primește tot traficul și supraîncarcă un nod O cheie foarte populară (promoția zilei, contorul unui clip viral) stă pe un singur nod al cache-ului, deci tot traficul ei lovește acel nod, oricât de mare ar fi clusterul. Adaugă un cache local cu TTL scurt, copiază cheia pe mai multe chei cu sufix sau citește de pe replici. Cache penetration: cereri pentru chei care nu există trec mereu de cache până în bază Cererile pentru date care nu există (id-uri inventate, produse șterse) ratează mereu cache-ul, pentru că nu s-a pus nimic acolo, și ajung toate în bază. Pune în cache și răspunsul negativ (cu TTL scurt), folosește un filtru Bloom pentru id-urile existente și limitează clienții care generează astfel de cereri. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
