Cache penetration: cereri pentru chei care nu există trec mereu de cache până în bază
Cererile pentru date care nu există (id-uri inventate, produse șterse) ratează mereu cache-ul, pentru că nu s-a pus nimic acolo, și ajung toate în bază. Pune în cache și răspunsul negativ (cu TTL scurt), folosește un filtru Bloom pentru id-urile existente și limitează clienții care generează astfel de cereri.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Cache-aside salvează valoarea după ce o găsește în bază. Dacă baza nu găsește nimic, codul tipic nu salvează nimic, deci următoarea cerere pentru același id merge iar în bază. Pentru utilizatori normali e rar. Pentru un scraper care încearcă id-uri la rând, un atac sau un client cu bug care cere id-uri greșite, înseamnă că fiecare cerere ocolește cache-ul.
În monitorizare vezi o rată de hit care scade fără motiv aparent și multe interogări în bază care întorc zero rânduri. Baza se încarcă, deși datele „populare” sunt în cache.
Soluții: memorezi și rezultatul negativ (produs:999 = NULL, cu TTL scurt, ca un produs creat ulterior să apară repede), pui un filtru Bloom cu toate id-urile valide în fața bazei, validezi formatul și intervalul id-urilor și limitezi clienții care generează multe ratări.
De ce apare: cauzele frecvente
1Rezultatul „nu există” nu e memorat
v = redis.get(cheie)
if v is None:
v = db.gaseste(id)
if v is not None:
redis.setex(cheie, 300, v)v = redis.get(cheie)
if v is None:
v = db.gaseste(id)
redis.setex(cheie, 300 if v else 30, v or 'NU_EXISTA')
if v == 'NU_EXISTA':
return NoneȘi absența e memorată, așa că cererile repetate pentru același id inexistent nu mai ajung în bază.
2Id-uri secvențiale ușor de ghicit
GET /produse/1, /produse/2, ... /produse/99999999# validare: id în intervalul existent + filtru Bloom + rate limiting per clientCererile evident invalide sunt respinse înainte de cache și de bază.
Repară eroarea, direct în pagină
Răspunde la cele trei întrebări despre cererile pentru produse inexistente care trec de cache.
Indiciu
Ce pune codul în cache când baza nu găsește nimic?
Reparația
- q1: Valorile inexistente nu sunt puse niciodată în cache.
- q2: cache negativ, filtru Bloom, validare + limitare.
- q3: Adevărat.
De ce merge
Cache-aside naiv nu memorează absența, deci id-urile inexistente ajung mereu în bază. Cache negativ, filtru Bloom și validare elimină aceste interogări.
Alte forme ale mesajului
Cache miss rate increases with queries for non-existent keysBloom filter for cache penetration
Cum o eviți pe viitor
- Memorează și rezultatele negative, cu TTL scurt.
- Pune un filtru Bloom în fața bazei pentru seturi mari de id-uri.
- Validează parametrii înainte de orice căutare.
- Urmărește interogările care întorc zero rânduri și rata de hit.
Întrebări frecvente
Nu umplu cache-ul cu chei goale?
Puțin, de aceea TTL-ul pentru ele e scurt. Pentru atacuri cu milioane de id-uri diferite, filtrul Bloom e mai eficient decât memorarea fiecărei absențe.
Ce e un filtru Bloom?
O structură compactă de biți care răspunde „sigur nu există” sau „probabil există”. Încape în memorie chiar pentru zeci de milioane de id-uri.
Erori înrudite
Cache stampede (thundering herd): baza cade când expiră o cheie populară Când o cheie foarte citită expiră, toate cererile din acel moment ratează cache-ul și merg simultan în bază să recalculeze aceeași valoare, iar baza se supraîncarcă. Lasă o singură cerere să recalculeze (lock / single-flight), reîmprospătează cheia înainte să expire și adaugă jitter la TTL. Rata de hit a cache-ului e mică (sub 50%), iar baza e tot supraîncărcată Cache-ul există, dar majoritatea citirilor tot ajung în bază: TTL-ul e prea scurt, cheile sunt prea specifice (conțin parametri care se schimbă), cache-ul e prea mic sau se invalidează prea des. Măsoară rata de hit, mărește TTL-ul acolo unde datele permit și normalizează cheile. Un robot (scraper) trimite mii de cereri pe secundă și oprește site-ul Un scraper, un client cu bug sau un atac trimite mult mai multe cereri decât pot duce serverele, iar utilizatorii normali primesc 502/503. Fără un rate limiter, toate cererile ajung la servere. Pune limitarea în fața load balancer-ului, ca surplusul să fie respins ieftin, cu 429. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
