...
Eroare System Design · Servere supraîncărcate, scalare și sesiuni

API gateway-ul răspunde cu 503 la vârf, deși serviciile din spate au rezervă

Pe scurt

API gateway-ul verifică tokenul, aplică reguli și rutează fiecare cerere, deci are propria capacitate. Când traficul o depășește, răspunde cu 503 sau 504 înainte ca cererile să ajungă la servicii. Mai adaugă instanțe gateway-ului și elimină-l ca SPOF.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

API gateway-ul (Kong, Spring Cloud Gateway, nginx cu reguli, AWS API Gateway) stă în fața tuturor serviciilor: termină TLS-ul, verifică autentificarea, aplică rate limiting și rutează. Toate astea costă CPU la fiecare cerere, mai ales verificarea semnăturii tokenurilor. Un gateway rulat într-o singură instanță devine ușor gâtul de sticlă și, în același timp, punctul unic de eșec al întregului API.

Simptomele sunt erori 503 sau 504 venite de la gateway, latență crescută cu câteva milisecunde la fiecare cerere și servicii din spate care primesc mai puțin trafic decât ar trebui. Serviciile gestionate au limite de cont (cereri pe secundă), iar la depășire răspund cu 429.

Soluția e scalarea orizontală a gateway-ului ca a oricărui server stateless: mai multe instanțe, în spatele unui load balancer sau al DNS-ului.

De ce apare: cauzele frecvente

1Un singur gateway pentru tot traficul

Greșit
client -> 1 × gateway (10.000 cereri/s) -> servicii
# vârf: 15.000 cereri/s
Corect
client -> 3 × gateway (30.000 cereri/s) -> servicii

Trei instanțe duc vârful la 50% încărcare și rezistă la căderea uneia.

2Gateway-ul face lucru scump la fiecare cerere

Greșit
# la fiecare cerere: apel HTTP la serviciul de autentificare
Corect
# token JWT verificat local, cu cheia publică ținută în memorie

Un apel suplimentar per cerere dublează latența și încărcarea; verificarea locală a semnăturii e mult mai ieftină.

Repară tu

Repară eroarea, direct în pagină

Toate cererile trec printr-un singur API gateway (10.000 de cereri/s). La vârful de 15.000 de citiri pe secundă, gateway-ul răspunde cu 503, deși serviciile din spate au rezervă. Fă ca toate cererile să fie tratate, toate componentele sub 80% și fără SPOF.

Indiciu

Gateway-ul scalează ca orice server stateless.

Alte forme ale mesajului

  • {"message":"failure to get a peer from the ring-balancer"} (Kong)
  • 503 Service Unavailable (gateway)

Cum o eviți pe viitor

  • Rulează gateway-ul în cel puțin două instanțe, dimensionate pentru vârf.
  • Ține logica din gateway ușoară: autentificare, rutare, limite.
  • Verifică tokenurile local (JWT cu cheie publică) în loc de un apel la fiecare cerere.
  • Monitorizează separat latența adăugată de gateway.

Întrebări frecvente

De ce nu pun logica de business în gateway?

Pentru că gateway-ul e pe drumul fiecărei cereri. Orice lucru scump făcut acolo încetinește tot API-ul și îl face greu de scalat și de testat.

Un gateway gestionat are aceeași problemă?

Nu ai de scalat instanțe, dar are limite de cont (cereri pe secundă, rafale). La depășire răspunde cu 429; limitele se pot mări prin cerere la furnizor.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.