...
Eroare System Design · Cache: stampede, date vechi, memorie plină

Hot key: o singură cheie Redis primește tot traficul și supraîncarcă un nod

Pe scurt

O cheie foarte populară (promoția zilei, contorul unui clip viral) stă pe un singur nod al cache-ului, deci tot traficul ei lovește acel nod, oricât de mare ar fi clusterul. Adaugă un cache local cu TTL scurt, copiază cheia pe mai multe chei cu sufix sau citește de pe replici.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Un cache distribuit împarte cheile pe noduri (în Redis Cluster, după slotul calculat din cheie). Asta împarte bine traficul când cererile sunt răspândite pe multe chei. Dar dacă o singură cheie primește o parte uriașă din cereri, ea rămâne pe un singur nod: acel nod ajunge la 100% CPU sau la limita de rețea, latența crește pentru toate cheile de pe el, iar celelalte noduri stau aproape libere.

Exemple tipice: pagina principală, configurația globală, o promoție, profilul unei celebrități, contorul de vizualizări al unui clip viral. redis-cli --hotkeys (cu politica LFU) sau monitorizarea per nod arată problema.

Soluțiile reduc numărul de cereri care ajung la acel nod: un cache local (în memoria procesului) cu TTL de câteva secunde absoarbe aproape tot; copii ale cheii pe mai multe noduri (sufixe); replici de citire pentru nodul respectiv.

De ce apare: cauzele frecvente

1Toate instanțele citesc aceeași cheie la fiecare cerere

Greșit
promotie = redis.get('promotie:azi')   # 200.000 de citiri/s pe un singur nod
Corect
@lru_cache_ttl(seconds=5)
def promotie():
    return redis.get('promotie:azi')   # o citire la 5 s per instanță

Cache-ul local reduce citirile spre Redis de la una per cerere la una per instanță la câteva secunde.

2O singură copie a cheii

Greșit
redis.set('promotie:azi', valoare)
Corect
for i in range(10):
    redis.set(f'promotie:azi:{i}', valoare)
# citire: redis.get(f'promotie:azi:{random.randrange(10)}')

Cele 10 chei ajung pe sloturi diferite, deci pe noduri diferite, iar citirile se împart.

Repară tu

Repară eroarea, direct în pagină

Răspunde la cele două întrebări despre o cheie Redis foarte populară într-un cluster.

Indiciu

O cheie stă într-un singur slot, deci pe un singur nod.

Alte forme ale mesajului

  • Redis Cluster: one node at 100% CPU
  • hot key detected (redis-cli --hotkeys)

Cum o eviți pe viitor

  • Identifică din timp cheile foarte citite (LFU, --hotkeys, metrici per nod).
  • Folosește cache local cu TTL scurt pentru chei globale citite des.
  • Împarte cheile fierbinți cu sufixe.
  • Monitorizează încărcarea fiecărui nod, nu doar media clusterului.

Întrebări frecvente

Cache-ul local nu face datele vechi?

Câteva secunde, da. Pentru o promoție sau o configurație e acceptabil; pentru stoc la ultimele bucăți, nu.

Ce legătură are cu hot partition?

E aceeași problemă în alt sistem: o cheie care concentrează traficul pe o singură partiție. La baze NoSQL apare la scrieri, la cache mai ales la citiri.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.