...
Eroare System Design · Cache: stampede, date vechi, memorie plină

Cache penetration: cereri pentru chei care nu există trec mereu de cache până în bază

Pe scurt

Cererile pentru date care nu există (id-uri inventate, produse șterse) ratează mereu cache-ul, pentru că nu s-a pus nimic acolo, și ajung toate în bază. Pune în cache și răspunsul negativ (cu TTL scurt), folosește un filtru Bloom pentru id-urile existente și limitează clienții care generează astfel de cereri.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Cache-aside salvează valoarea după ce o găsește în bază. Dacă baza nu găsește nimic, codul tipic nu salvează nimic, deci următoarea cerere pentru același id merge iar în bază. Pentru utilizatori normali e rar. Pentru un scraper care încearcă id-uri la rând, un atac sau un client cu bug care cere id-uri greșite, înseamnă că fiecare cerere ocolește cache-ul.

În monitorizare vezi o rată de hit care scade fără motiv aparent și multe interogări în bază care întorc zero rânduri. Baza se încarcă, deși datele „populare” sunt în cache.

Soluții: memorezi și rezultatul negativ (produs:999 = NULL, cu TTL scurt, ca un produs creat ulterior să apară repede), pui un filtru Bloom cu toate id-urile valide în fața bazei, validezi formatul și intervalul id-urilor și limitezi clienții care generează multe ratări.

De ce apare: cauzele frecvente

1Rezultatul „nu există” nu e memorat

Greșit
v = redis.get(cheie)
if v is None:
    v = db.gaseste(id)
    if v is not None:
        redis.setex(cheie, 300, v)
Corect
v = redis.get(cheie)
if v is None:
    v = db.gaseste(id)
    redis.setex(cheie, 300 if v else 30, v or 'NU_EXISTA')
if v == 'NU_EXISTA':
    return None

Și absența e memorată, așa că cererile repetate pentru același id inexistent nu mai ajung în bază.

2Id-uri secvențiale ușor de ghicit

Greșit
GET /produse/1, /produse/2, ... /produse/99999999
Corect
# validare: id în intervalul existent + filtru Bloom + rate limiting per client

Cererile evident invalide sunt respinse înainte de cache și de bază.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre cererile pentru produse inexistente care trec de cache.

Indiciu

Ce pune codul în cache când baza nu găsește nimic?

Alte forme ale mesajului

  • Cache miss rate increases with queries for non-existent keys
  • Bloom filter for cache penetration

Cum o eviți pe viitor

  • Memorează și rezultatele negative, cu TTL scurt.
  • Pune un filtru Bloom în fața bazei pentru seturi mari de id-uri.
  • Validează parametrii înainte de orice căutare.
  • Urmărește interogările care întorc zero rânduri și rata de hit.

Întrebări frecvente

Nu umplu cache-ul cu chei goale?

Puțin, de aceea TTL-ul pentru ele e scurt. Pentru atacuri cu milioane de id-uri diferite, filtrul Bloom e mai eficient decât memorarea fiecărei absențe.

Ce e un filtru Bloom?

O structură compactă de biți care răspunde „sigur nu există” sau „probabil există”. Încape în memorie chiar pentru zeci de milioane de id-uri.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.