API gateway-ul răspunde cu 503 la vârf, deși serviciile din spate au rezervă
API gateway-ul verifică tokenul, aplică reguli și rutează fiecare cerere, deci are propria capacitate. Când traficul o depășește, răspunde cu 503 sau 504 înainte ca cererile să ajungă la servicii. Mai adaugă instanțe gateway-ului și elimină-l ca SPOF.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
API gateway-ul (Kong, Spring Cloud Gateway, nginx cu reguli, AWS API Gateway) stă în fața tuturor serviciilor: termină TLS-ul, verifică autentificarea, aplică rate limiting și rutează. Toate astea costă CPU la fiecare cerere, mai ales verificarea semnăturii tokenurilor. Un gateway rulat într-o singură instanță devine ușor gâtul de sticlă și, în același timp, punctul unic de eșec al întregului API.
Simptomele sunt erori 503 sau 504 venite de la gateway, latență crescută cu câteva milisecunde la fiecare cerere și servicii din spate care primesc mai puțin trafic decât ar trebui. Serviciile gestionate au limite de cont (cereri pe secundă), iar la depășire răspund cu 429.
Soluția e scalarea orizontală a gateway-ului ca a oricărui server stateless: mai multe instanțe, în spatele unui load balancer sau al DNS-ului.
De ce apare: cauzele frecvente
1Un singur gateway pentru tot traficul
client -> 1 × gateway (10.000 cereri/s) -> servicii
# vârf: 15.000 cereri/sclient -> 3 × gateway (30.000 cereri/s) -> serviciiTrei instanțe duc vârful la 50% încărcare și rezistă la căderea uneia.
2Gateway-ul face lucru scump la fiecare cerere
# la fiecare cerere: apel HTTP la serviciul de autentificare# token JWT verificat local, cu cheia publică ținută în memorieUn apel suplimentar per cerere dublează latența și încărcarea; verificarea locală a semnăturii e mult mai ieftină.
Repară eroarea, direct în pagină
Toate cererile trec printr-un singur API gateway (10.000 de cereri/s). La vârful de 15.000 de citiri pe secundă, gateway-ul răspunde cu 503, deși serviciile din spate au rezervă. Fă ca toate cererile să fie tratate, toate componentele sub 80% și fără SPOF.
Indiciu
Gateway-ul scalează ca orice server stateless.
Reparația
1. Atinge API gateway. 2. Setează Instanțe = 3.
Rezultat: gateway-ul la ~50%, fără SPOF.
De ce merge
Gateway-ul era la 150%: surplusul era respins înainte să ajungă la servicii. Cu 3 instanțe are 30.000 de cereri pe secundă, rămâne la ~50% și nu mai e SPOF.
Alte forme ale mesajului
{"message":"failure to get a peer from the ring-balancer"} (Kong)503 Service Unavailable (gateway)
Cum o eviți pe viitor
- Rulează gateway-ul în cel puțin două instanțe, dimensionate pentru vârf.
- Ține logica din gateway ușoară: autentificare, rutare, limite.
- Verifică tokenurile local (JWT cu cheie publică) în loc de un apel la fiecare cerere.
- Monitorizează separat latența adăugată de gateway.
Întrebări frecvente
De ce nu pun logica de business în gateway?
Pentru că gateway-ul e pe drumul fiecărei cereri. Orice lucru scump făcut acolo încetinește tot API-ul și îl face greu de scalat și de testat.
Un gateway gestionat are aceeași problemă?
Nu ai de scalat instanțe, dar are limite de cont (cereri pe secundă, rafale). La depășire răspunde cu 429; limitele se pot mări prin cerere la furnizor.
Erori înrudite
Load balancer-ul a ajuns la limită: latență mare și conexiuni refuzate înainte de servere Serverele din spate sunt relaxate, dar cererile tot se pierd sau durează mult, pentru că load balancer-ul însuși (sau proxy-ul nginx/HAProxy pe care îl rulezi tu) nu mai face față numărului de cereri sau conexiuni. Adaugă instanțe load balancer-ului (sau trece pe unul gestionat) și elimină-l ca punct unic de eșec. 503 Service Unavailable Serverul (sau load balancer-ul din fața lui) spune că nu poate trata cererea acum: e supraîncărcat, în mentenanță sau nu are nicio instanță sănătoasă. De obicei repari adăugând capacitate (mai multe instanțe, autoscalare) și verificând de ce instanțele sunt marcate nesănătoase. API-ul răspunde oricui: cererile nu sunt autentificate la API gateway Endpoint-urile API sunt accesibile fără token, deci oricine (inclusiv roboți) poate citi sau modifica date doar știind URL-ul. Verifică autentificarea centralizat, la API gateway (JWT, chei API, OAuth), și autorizarea pe fiecare resursă în aplicație. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
