Baza de date primară la 100% CPU din cauza citirilor
Majoritatea interogărilor sunt citiri, iar baza primară, singura care le servește, a ajuns la limită. Mută citirile pe replici de citire (read replicas) și pune un cache în față pentru datele citite des; primara rămâne pentru scrieri.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
În cele mai multe aplicații web citirile sunt de zeci de ori mai multe decât scrierile: pagini de produs, liste, profiluri. Când toate merg la o singură bază, ea ajunge la 100% CPU, latența crește, conexiunile se adună, iar la final apar timeout-uri în toată aplicația.
Două unelte rezolvă problema fără să schimbi baza de date. Cache-ul scoate citirile repetate (aceleași produse populare) din bază. Replicile de citire sunt copii ale primarei, actualizate asincron prin replicare; aplicația trimite citirile la ele și scrierile la primară. Cu N replici, capacitatea de citire crește aproximativ de N ori.
Compromisul replicilor e întârzierea de replicare: o replică poate fi cu câteva milisecunde (uneori secunde) în urmă. Citirile care trebuie să vadă imediat o scriere proaspătă (profilul tocmai salvat) merg la primară.
De ce apare: cauzele frecvente
1Toate citirile la primară
spring.datasource.url=jdbc:postgresql://db-primar:5432/magazin# scrieri: db-primar; citiri: db-replica (routing după @Transactional(readOnly = true))
app.datasource.write.url=jdbc:postgresql://db-primar:5432/magazin
app.datasource.read.url=jdbc:postgresql://db-replici:5432/magazinUn DataSource de rutare trimite tranzacțiile readOnly la replici, iar restul la primară.
2Cache cu rată de hit mică
redis.setex(cheie, 10, valoare) # TTL de 10 secunde pentru produse care se schimbă rarredis.setex(cheie, 600, valoare) # TTL mai lung + invalidare la modificareUn TTL prea scurt face cache-ul să expire înainte să fie refolosit, iar citirile ajung tot în bază.
Repară eroarea, direct în pagină
Baza primară e peste capacitate: cache-ul are doar 50% hit, iar restul citirilor (3.000 pe secundă) ajung în ea. Fără să schimbi cache-ul, adaugă capacitate de citire astfel încât toate cererile să fie tratate și toate componentele să fie sub 80%.
Indiciu
Citirile pot fi servite de copii ale bazei, care primesc datele de la primară.
Reparația
1. Adaugă Replică SQL (citire); conectează Bază SQL primară → Replică și Server aplicație → Replică. 2. Repetă pentru a doua replică.
Rezultat: fiecare replică primește ~1.500 de citiri pe secundă, primara doar scrierile.
De ce merge
Primara primea 3.000 de citiri plus scrierile. Cu două replici de citire, conectate de la primară (replicare) și folosite de server, citirile se împart între ele, iar primara păstrează doar scrierile.
Alte forme ale mesajului
CPU utilization 100% (RDS primary)too many active sessions / high DB load (read-heavy)
Cum o eviți pe viitor
- Măsoară raportul citiri : scrieri înainte să alegi soluția.
- Pune cache pentru datele citite des și rar modificate.
- Adaugă replici de citire când cache-ul nu mai ajunge.
- Trimite la primară citirile care trebuie să vadă scrieri proaspete.
Întrebări frecvente
Replici sau cache, ce pun întâi?
Cache-ul, dacă aceleași date sunt citite des: e ieftin și scade latența. Replicile ajută și la citiri variate, care nu se repetă destul ca să fie în cache.
Replicile ajută și la scrieri?
Nu. Fiecare scriere trebuie aplicată pe primară și pe toate replicile. Pentru scrieri multe, soluția e sharding-ul.
Erori înrudite
Baza primară saturată de scrieri, iar replicile nu ajută Scrierile ajung toate la o singură bază primară, iar replicile nu pot prelua scrieri (le primesc și ele, prin replicare). Când volumul de scrieri depășește o mașină, împarte datele pe shard-uri după o cheie bine aleasă (de exemplu `client_id`), fiecare shard cu primara lui. Replication lag: utilizatorul nu-și vede modificarea imediat după salvare (read-your-writes) Scrierea a mers la primară, dar citirea imediat următoare a ajuns la o replică ce nu a aplicat-o încă, deci utilizatorul vede datele vechi. Replicarea asincronă are mereu o întârziere. Trimite la primară citirile care trebuie să vadă scrieri proaspete (datele proprii, imediat după salvare). Rata de hit a cache-ului e mică (sub 50%), iar baza e tot supraîncărcată Cache-ul există, dar majoritatea citirilor tot ajung în bază: TTL-ul e prea scurt, cheile sunt prea specifice (conțin parametri care se schimbă), cache-ul e prea mic sau se invalidează prea des. Măsoară rata de hit, mărește TTL-ul acolo unde datele permit și normalizează cheile. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
