Dashboard-ul arăta problema de o oră, dar nimeni nu s-a uitat (monitorizare fără alerte)
Metricile și dashboard-urile există, dar nimeni nu e anunțat când ceva iese din normal, deci problemele se văd doar dacă cineva se uită întâmplător. Configurează alerte pe simptome vizibile pentru utilizatori (rata de erori, latența p99, vechimea cozilor), trimise unei persoane de gardă.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Un dashboard nu e monitorizare activă: e util pentru investigații, dar nimeni nu se uită la el la 3 dimineața. Alertele transformă datele în acțiune.
Alertele bune sunt pe simptome pe care le simte utilizatorul (procentul de cereri eșuate, latența p99, consumul bugetului de erori, vechimea mesajelor din cozi), nu pe fiecare cauză posibilă (CPU 80% pe un server). Au un prag și o durată (de exemplu peste 2% erori timp de 5 minute), ca să nu sune la fiecare vârf de o secundă, și ajung la o persoană anume, de gardă, cu un link spre runbook.
Cealaltă extremă e la fel de periculoasă: sute de alerte zgomotoase, pe care echipa învață să le ignore (alert fatigue). Fiecare alertă trebuie să ceară o acțiune.
De ce apare: cauzele frecvente
1Doar dashboard-uri
# Grafana cu 40 de grafice, nicio alertă- alert: RataEroriMare
expr: sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m])) > 0.02
for: 5m
labels: { severity: page }Echipa e anunțată când peste 2% din cereri eșuează timp de 5 minute.
2Alerte pe cauze, zgomotoase
# alertă la CPU > 70% pe orice server# alertă pe latența p99 și pe erori; CPU doar pe dashboardAlertele pe simptome sună când utilizatorii sunt afectați, nu la fiecare variație normală.
Repară eroarea, direct în pagină
Toate componentele trimit metrici spre Monitorizare, dar nu e configurată nicio alertă: ultima cădere a fost văzută pe dashboard abia după o oră. Fă ca echipa să fie anunțată automat.
Indiciu
Uită-te la proprietățile componentei Monitorizare.
Reparația
1. Atinge Monitorizare. 2. Bifează Alerte configurate.
Rezultat: echipa e anunțată automat.
De ce merge
Datele existau, dar nimeni nu era anunțat. Cu alerte configurate, depășirea pragurilor de erori și latență ajunge imediat la persoana de gardă.
Alte forme ale mesajului
Alert fatigueNo alert fired during outage
Cum o eviți pe viitor
- Alertează pe simptome: erori, latență, vechimea cozilor.
- Pune prag și durată pentru fiecare alertă.
- Trimite alertele unei persoane de gardă, cu runbook.
- Revizuiește periodic alertele care nu au cerut nicio acțiune.
Întrebări frecvente
Câte alerte ar trebui să am?
Puține și relevante: câteva pe simptomele principale ale fiecărui serviciu. Fiecare alertă care sună trebuie să ceară o acțiune.
Ce e un runbook?
O pagină scurtă care spune ce înseamnă alerta, cum verifici și ce pași de remediere ai.
Erori înrudite
Aflăm de căderi de la clienți: sistemul nu are monitorizare Nicio componentă nu trimite metrici, loguri sau trace-uri spre un sistem de monitorizare, deci problemele (latență, erori, încărcare) se văd abia când se plâng clienții, iar cauza se ghicește. Colectează metrici și loguri de la fiecare componentă și urmărește semnalele de bază: latență, trafic, erori, saturație. Disponibilitatea scrierilor e sub SLA-ul promis (99,95%) Ai promis clienților o disponibilitate (de exemplu 99,95%), dar arhitectura nu o poate atinge: disponibilitățile componentelor în serie se înmulțesc, iar o bază de date fără rezervă trage totul în jos. Adaugă redundanță pe componentele slabe, mai ales pe baza de date, și calculează disponibilitatea totală. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
