...
Eroare System Design · Cache: stampede, date vechi, memorie plină

Clienții văd valori diferite la fiecare reîncărcare (cache local diferit pe fiecare server)

Pe scurt

Fiecare server ține datele într-un cache propriu, în memorie, cu expirare independentă, iar load balancer-ul trimite cererile alternativ la servere: după o modificare, clienții văd valori vechi sau noi de la o reîncărcare la alta. Folosește un cache comun (Redis) sau invalidează toate cache-urile locale printr-un mesaj pub/sub.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Cache-urile locale (un Map în memorie, Caffeine, IMemoryCache, lru-cache) sunt cele mai rapide, fără rețea. Cu mai multe servere, fiecare are însă propria copie, încărcată la alt moment. După o actualizare, serverul A a reîmprospătat deja valoarea, B încă nu: un client care reîncarcă pagina vede prețul alternând între vechi și nou, coșul calculează alt total decât pagina produsului, iar un admin crede că salvarea nu a mers.

E varianta distribuită a problemei datelor vechi în cache, agravată de faptul că serverele nu sunt de acord între ele.

Variante: cache comun (Redis, Memcached) pentru datele care se schimbă; cache local doar pentru date practic statice sau cu TTL de câteva secunde; invalidare activă (la scriere, un mesaj pub/sub spune tuturor serverelor să șteargă cheia); cache pe două niveluri (local scurt + Redis), cu invalidare.

De ce apare: cauzele frecvente

1Cache local cu TTL lung pentru date modificabile

Greșit
Cache<Long, Pret> preturi = Caffeine.newBuilder()
    .expireAfterWrite(Duration.ofMinutes(10)).build();
Corect
// la modificare:
redis.publish("invalidare:preturi", produsId);
// pe fiecare server, la mesaj:
preturi.invalidate(produsId);

Toate serverele șterg valoarea veche imediat după modificare.

2Date care se schimbă des, în cache local

Greșit
# stocul ținut 5 minute în memoria fiecărui server
Corect
# stocul în Redis (comun), citit de toate serverele

O singură copie, deci toate serverele văd aceeași valoare.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele trei întrebări despre prețurile care alternează la reîncărcarea paginii.

Indiciu

Câte copii ale prețului există în sistem?

Alte forme ale mesajului

  • Inconsistent data between instances
  • Prețul diferă între pagina produsului și coș

Cum o eviți pe viitor

  • Folosește cache local doar pentru date practic statice.
  • Folosește un cache comun pentru datele care se schimbă.
  • Invalidează activ cache-urile locale la modificări.
  • Testează cu cel puțin două instanțe.

Întrebări frecvente

De ce nu observ problema local?

Pentru că local rulezi o singură instanță. Inconsecvența apare doar cu mai multe servere în spatele load balancer-ului.

Cache local + Redis are sens?

Da, pentru citiri foarte dese: un nivel local cu TTL de câteva secunde în fața lui Redis, plus invalidare prin pub/sub.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.