FATAL: sorry, too many clients already
PostgreSQL a atins `max_connections` (implicit 100) și refuză conexiuni noi. Apare tipic după scalarea aplicației: fiecare instanță are propriul pool, iar suma lor depășește limita. Calculează instanțe × mărimea pool-ului, micșorează pool-urile și pune un pooler (PgBouncer) în față.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Fiecare conexiune PostgreSQL e un proces separat pe server, cu memoria lui, de aceea numărul lor e limitat de max_connections. Când limita e atinsă, orice conexiune nouă primește FATAL: sorry, too many clients already (sau remaining connection slots are reserved for non-replication superuser connections, când rămân doar sloturile rezervate).
În system design, eroarea apare aproape mereu la scalare orizontală. Un pool de 20 de conexiuni pe instanță e rezonabil pentru un server, dar 20 de instanțe (sau un autoscaling care ajunge la maxim) deschid 400 de conexiuni. Funcțiile serverless sunt și mai periculoase: fiecare execuție concurentă poate deschide propria conexiune.
Mărirea max_connections la mii de conexiuni nu e soluția: fiecare consumă memorie și procesor pentru gestiune. Soluția e să numeri conexiunile la nivel de sistem: pool-uri mai mici pe instanță și un pooler (PgBouncer, RDS Proxy) care multiplexează mulți clienți pe puține conexiuni reale.
De ce apare: cauzele frecvente
1Pool mare pe fiecare instanță, multe instanțe
spring:
datasource:
hikari:
maximum-pool-size: 20 # × 20 instanțe = 400spring:
datasource:
url: jdbc:postgresql://pgbouncer:6432/magazin
hikari:
maximum-pool-size: 4 # × 20 = 80Suma pool-urilor trebuie să încapă în limita bazei; PgBouncer permite mai mulți clienți decât conexiuni reale.
2Conexiune nouă la fiecare cerere (serverless)
def handler(event, context):
con = psycopg2.connect(DSN) # la fiecare apelcon = None
def handler(event, context):
global con
if con is None or con.closed:
con = psycopg2.connect(PROXY_DSN) # prin RDS Proxy / PgBouncerConexiunea refolosită între apeluri și un proxy de conexiuni țin numărul total sub control.
Repară eroarea, direct în pagină
Aplicația a fost scalată la 20 de instanțe, fiecare cu un pool de 20 de conexiuni, iar PostgreSQL (max_connections = 100) răspunde cu FATAL: sorry, too many clients already. Fă cele trei calcule din tab-ul Estimări: conexiunile totale, pool-ul maxim pe instanță și conexiunile reale cu PgBouncer.
Indiciu
Numărul de conexiuni la bază e suma pool-urilor tuturor instanțelor.
Reparația
- e1: 20 × 20 = 400 de conexiuni.
- e2: 90 / 20 = 4,5 → 4 conexiuni pe instanță.
- e3: 25 de conexiuni reale (
default_pool_size).
De ce merge
Problema e aritmetică: 20 × 20 = 400 de conexiuni pentru o bază care acceptă 100. Pool-ul trebuie împărțit (4 pe instanță), iar cu PgBouncer conexiunile reale rămân fixe, indiferent câte instanțe se conectează.
Alte forme ale mesajului
FATAL: remaining connection slots are reserved for non-replication superuser connectionsorg.postgresql.util.PSQLException: FATAL: sorry, too many clients alreadypsycopg2.OperationalError: FATAL: sorry, too many clients already
Cum o eviți pe viitor
- Calculează la fiecare schimbare de scalare: instanțe maxime × pool pe instanță.
- Ține pool-urile mici (des, câteva conexiuni pe nucleu de bază ajung).
- Pune PgBouncer sau un proxy gestionat în fața bazei.
- Monitorizează
pg_stat_activityși alertează la 80% dinmax_connections.
Întrebări frecvente
Cât de mare să fie pool-ul?
Mai mic decât crezi. Baza nu execută mai multe interogări simultan decât îi permit nucleele și discurile; conexiunile în plus doar așteaptă. Pornește de la câteva conexiuni pe instanță și măsoară.
Pot mări max_connections la 1.000?
Tehnic da, dar fiecare conexiune costă memorie, iar performanța scade la multe conexiuni active. Un pooler rezolvă problema mai ieftin.
Erori înrudite
ERROR 1040 (HY000): Too many connections MySQL a atins `max_connections` (implicit 151) și nu mai acceptă clienți. Cauzele tipice sunt prea multe instanțe cu pool-uri mari, conexiuni care nu se închid (leak) sau conexiuni inactive ținute ore întregi. Vezi cine le ține cu `SHOW PROCESSLIST`, micșorează pool-urile și folosește un proxy de conexiuni. HikariPool-1 - Connection is not available, request timed out after 30000ms. Toate conexiunile din pool-ul Hikari au fost ocupate 30 de secunde, iar cererea a renunțat. Fie pool-ul e prea mic pentru câte interogări rulează simultan, fie interogările (sau tranzacțiile) durează prea mult, fie o conexiune nu e eliberată. Calculează cu legea lui Little câte conexiuni îți trebuie și caută interogările lente. sqlalchemy.exc.TimeoutError: QueuePool limit of size 5 overflow 10 reached, connection timed out, timeout 30.00 Pool-ul SQLAlchemy (5 conexiuni + 10 suplimentare) a rămas fără conexiuni libere 30 de secunde. Cel mai des, sesiunile nu sunt închise (leak) sau o cerere ține conexiunea foarte mult. Folosește `with Session(...)` sau dependințe care închid sesiunea, apoi dimensionează pool-ul. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
