N+1 queries: o pagină face sute de interogări la baza de date
Codul citește o listă (1 interogare), apoi, pentru fiecare element, încă o interogare pentru datele asociate (N interogări), de obicei din lazy loading-ul unui ORM. La 100 de elemente, pagina face 101 interogări și supraîncarcă baza. Încarcă datele asociate într-o singură interogare (JOIN, fetch join, `IN (...)`) sau în loturi.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Problema N+1 e cea mai frecventă cauză a bazelor de date supraîncărcate în aplicațiile cu ORM (Hibernate/JPA, Entity Framework, Django ORM, ActiveRecord, Sequelize). Codul arată nevinovat: o buclă peste comenzi care afișează comanda.client.nume. Fiecare acces la client declanșează însă o interogare separată.
La o pagină cu 100 de rânduri, asta înseamnă 101 interogări în loc de 1 sau 2. Fiecare are latența ei de rețea (câteva ms), deci pagina devine lentă, iar la trafic mare baza primește de zeci de ori mai multe interogări decât e nevoie. În loguri apare același SELECT ... FROM clienti WHERE id = ? repetat de sute de ori.
Soluții: fetch join (JOIN FETCH în JPQL, Include în EF Core, select_related / prefetch_related în Django), @EntityGraph, încărcarea în loturi (@BatchSize, IN (...)) sau proiecții (DTO-uri) cu exact câmpurile necesare.
De ce apare: cauzele frecvente
1Lazy loading în buclă
List<Comanda> comenzi = repo.findAll();
for (Comanda c : comenzi) {
System.out.println(c.getClient().getNume()); // o interogare per comandă
}@Query("select c from Comanda c join fetch c.client")
List<Comanda> findAllCuClient();Comenzile și clienții vin într-o singură interogare.
2Django fără select_related
for c in Comanda.objects.all()[:100]:
print(c.client.nume)for c in Comanda.objects.select_related("client")[:100]:
print(c.client.nume)select_related face JOIN-ul, deci 1 interogare în loc de 101.
Repară eroarea, direct în pagină
Pagina de comenzi afișează 100 de comenzi și cere separat clientul fiecăreia. Calculează în tab-ul Estimări câte interogări face o pagină și câte primește baza pe secundă.
Indiciu
1 interogare pentru listă, plus câte una pentru fiecare comandă.
Reparația
- e1: 1 + 100 = 101.
- e2: 101 × 30 = 3.030 interogări/s.
De ce merge
Cu N+1, o singură pagină face 101 interogări, iar 30 de pagini pe secundă înseamnă peste 3.000 de interogări. Cu un JOIN, aceeași încărcare ar fi doar 30 de interogări pe secundă.
Alte forme ale mesajului
Hibernate: select ... from client where id=? (repetat de 100 de ori)Bullet: USE eager loading detectednplusone.core.exceptions.NPlusOneError
Cum o eviți pe viitor
- Activează logarea interogărilor în dezvoltare și numără-le pe pagină.
- Folosește fetch join sau încărcare în loturi pentru relațiile afișate.
- Folosește proiecții cu câmpurile necesare.
- Adaugă teste care verifică numărul de interogări pe endpoint-urile importante.
Întrebări frecvente
Să pun toate relațiile pe EAGER?
Nu: încarci date inutile peste tot și poți obține tot N+1 sau JOIN-uri uriașe. Alege încărcarea explicit, per interogare.
Un cache rezolvă problema?
Ascunde o parte din ea, dar cele 101 apeluri rămân. Repară întâi interogarea.
Erori înrudite
Baza de date primară la 100% CPU din cauza citirilor Majoritatea interogărilor sunt citiri, iar baza primară, singura care le servește, a ajuns la limită. Mută citirile pe replici de citire (read replicas) și pune un cache în față pentru datele citite des; primara rămâne pentru scrieri. Slow query: Seq Scan pe un tabel mare (index lipsă) Interogarea citește tot tabelul rând cu rând (`Seq Scan` în PostgreSQL, `type: ALL` în MySQL) pentru că nu există un index pe coloana din `WHERE`. Pe tabele mari, fiecare citire durează și încarcă baza. Rulează `EXPLAIN ANALYZE`, creează indexul potrivit și verifică din nou planul. Paginarea devine tot mai lentă la pagini mari (LIMIT ... OFFSET 500000) Cu `LIMIT 20 OFFSET 500000`, baza citește și aruncă 500.000 de rânduri pentru a returna 20, deci fiecare pagină e mai lentă decât precedenta, iar roboții care parcurg toate paginile încarcă baza. Folosește paginare cu cursor (keyset): `WHERE id > :ultimul_id ORDER BY id LIMIT 20`, pe o coloană indexată. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
