...
Eroare System Design · Cache: stampede, date vechi, memorie plină

Cache stampede (thundering herd): baza cade când expiră o cheie populară

Pe scurt

Când o cheie foarte citită expiră, toate cererile din acel moment ratează cache-ul și merg simultan în bază să recalculeze aceeași valoare, iar baza se supraîncarcă. Lasă o singură cerere să recalculeze (lock / single-flight), reîmprospătează cheia înainte să expire și adaugă jitter la TTL.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Cache-aside funcționează așa: citești din cache, la ratare citești din bază și pui valoarea în cache. Pentru chei obișnuite e perfect. Pentru o cheie citită de mii de ori pe secundă (pagina principală, un produs viral, configurația aplicației), momentul expirării devine periculos: între prima ratare și momentul în care cineva pune valoarea înapoi trec zeci sau sute de milisecunde, iar în acest timp toate cererile ratează.

Rezultatul e un vârf brusc de interogări identice în bază, la intervale regulate (exact la TTL). Dacă interogarea e scumpă, baza încetinește, recalcularea durează și mai mult, iar fereastra de ratare se lungește: un cerc vicios. În grafice vezi „dinți de fierăstrău” în încărcarea bazei.

Soluțiile reduc numărul de recalculări la una: un lock în Redis (SET cheie:lock 1 NX PX 5000), coalescerea cererilor în aplicație (single-flight), reîmprospătarea în fundal înainte de expirare sau servirea valorii vechi până vine cea nouă.

De ce apare: cauzele frecvente

1Cache-aside naiv pe o cheie fierbinte

Greșit
def produs(id):
    v = redis.get(f'produs:{id}')
    if v is None:
        v = db.citeste_produs(id)        # mii de cereri deodată
        redis.setex(f'produs:{id}', 300, v)
    return v
Corect
def produs(id):
    v = redis.get(f'produs:{id}')
    if v is None:
        if redis.set(f'lock:produs:{id}', 1, nx=True, px=5000):
            v = db.citeste_produs(id)
            redis.setex(f'produs:{id}', 300 + random.randint(0, 30), v)
            redis.delete(f'lock:produs:{id}')
        else:
            time.sleep(0.05)
            return produs(id)
    return v

Doar cererea care obține lock-ul merge în bază; celelalte așteaptă puțin și citesc valoarea proaspătă din cache.

2Toate cheile create odată, cu același TTL

Greșit
for p in produse: redis.setex(f'produs:{p.id}', 3600, p)   # expiră toate la aceeași oră
Corect
for p in produse: redis.setex(f'produs:{p.id}', 3600 + random.randint(0, 600), p)

Jitter-ul împrăștie expirările în timp, deci ratările nu mai vin în val.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre cache stampede pe cheia unui produs foarte popular.

Indiciu

Gândește-te ce fac toate cererile din milisecunda în care cheia lipsește.

Alte forme ale mesajului

  • Thundering herd problem
  • Dog-piling on cache miss
  • Database CPU spike every 5 minutes (cache expiry)

Cum o eviți pe viitor

  • Identifică cheile fierbinți și tratează-le special: lock la recalculare sau reîmprospătare în fundal.
  • Adaugă jitter la TTL.
  • Folosește stale-while-revalidate unde datele puțin vechi sunt acceptabile.
  • Urmărește în monitorizare vârfurile periodice de încărcare a bazei.

Întrebări frecvente

E același lucru cu cache avalanche?

Înrudit. Stampede e o singură cheie foarte populară care expiră. Avalanche e expirarea (sau pierderea) multor chei deodată, de exemplu la repornirea cache-ului.

Ce face single-flight?

În interiorul unui proces, grupează cererile concurente pentru aceeași cheie: doar una execută încărcarea, celelalte primesc același rezultat. Biblioteca golang.org/x/sync/singleflight sau Caffeine AsyncLoadingCache fac asta.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.