Hot key: o singură cheie Redis primește tot traficul și supraîncarcă un nod
O cheie foarte populară (promoția zilei, contorul unui clip viral) stă pe un singur nod al cache-ului, deci tot traficul ei lovește acel nod, oricât de mare ar fi clusterul. Adaugă un cache local cu TTL scurt, copiază cheia pe mai multe chei cu sufix sau citește de pe replici.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Un cache distribuit împarte cheile pe noduri (în Redis Cluster, după slotul calculat din cheie). Asta împarte bine traficul când cererile sunt răspândite pe multe chei. Dar dacă o singură cheie primește o parte uriașă din cereri, ea rămâne pe un singur nod: acel nod ajunge la 100% CPU sau la limita de rețea, latența crește pentru toate cheile de pe el, iar celelalte noduri stau aproape libere.
Exemple tipice: pagina principală, configurația globală, o promoție, profilul unei celebrități, contorul de vizualizări al unui clip viral. redis-cli --hotkeys (cu politica LFU) sau monitorizarea per nod arată problema.
Soluțiile reduc numărul de cereri care ajung la acel nod: un cache local (în memoria procesului) cu TTL de câteva secunde absoarbe aproape tot; copii ale cheii pe mai multe noduri (sufixe); replici de citire pentru nodul respectiv.
De ce apare: cauzele frecvente
1Toate instanțele citesc aceeași cheie la fiecare cerere
promotie = redis.get('promotie:azi') # 200.000 de citiri/s pe un singur nod@lru_cache_ttl(seconds=5)
def promotie():
return redis.get('promotie:azi') # o citire la 5 s per instanțăCache-ul local reduce citirile spre Redis de la una per cerere la una per instanță la câteva secunde.
2O singură copie a cheii
redis.set('promotie:azi', valoare)for i in range(10):
redis.set(f'promotie:azi:{i}', valoare)
# citire: redis.get(f'promotie:azi:{random.randrange(10)}')Cele 10 chei ajung pe sloturi diferite, deci pe noduri diferite, iar citirile se împart.
Repară eroarea, direct în pagină
Răspunde la cele două întrebări despre o cheie Redis foarte populară într-un cluster.
Indiciu
O cheie stă într-un singur slot, deci pe un singur nod.
Reparația
- q1: Un singur nod primește tot traficul cheii și se supraîncarcă.
- q2: cache local, copii cu sufix, replici.
De ce merge
Clusterul împarte cheile, nu cererile unei chei. Cache-ul local, copiile cu sufix și replicile împart sarcina cheii fierbinți; mai multe noduri nu ajută.
Alte forme ale mesajului
Redis Cluster: one node at 100% CPUhot key detected (redis-cli --hotkeys)
Cum o eviți pe viitor
- Identifică din timp cheile foarte citite (LFU,
--hotkeys, metrici per nod). - Folosește cache local cu TTL scurt pentru chei globale citite des.
- Împarte cheile fierbinți cu sufixe.
- Monitorizează încărcarea fiecărui nod, nu doar media clusterului.
Întrebări frecvente
Cache-ul local nu face datele vechi?
Câteva secunde, da. Pentru o promoție sau o configurație e acceptabil; pentru stoc la ultimele bucăți, nu.
Ce legătură are cu hot partition?
E aceeași problemă în alt sistem: o cheie care concentrează traficul pe o singură partiție. La baze NoSQL apare la scrieri, la cache mai ales la citiri.
Erori înrudite
ProvisionedThroughputExceededException: The level of configured provisioned throughput for the table was exceeded. DynamoDB a limitat cererile pentru că au depășit capacitatea configurată, de multe ori nu a tabelei întregi, ci a unei singure partiții spre care merg prea multe cereri (hot partition). Alege o cheie de partiție cu multe valori distribuite uniform și împarte cheile fierbinți cu sufixe. Cache stampede (thundering herd): baza cade când expiră o cheie populară Când o cheie foarte citită expiră, toate cererile din acel moment ratează cache-ul și merg simultan în bază să recalculeze aceeași valoare, iar baza se supraîncarcă. Lasă o singură cerere să recalculeze (lock / single-flight), reîmprospătează cheia înainte să expire și adaugă jitter la TTL. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
