...
Eroare Aplicații AI cu LLM · Fereastra de context și max_tokens

openai.BadRequestError: Error code: 400 - This model's maximum context length is 272000 tokens. However, your messages resulted in 289114 tokens. Please reduce the length of the messages.

Pe scurt

Cererea trimisă la OpenAI are mai mulți tokeni decât fereastra de context a modelului (`context_length_exceeded`). Scurtează mesajele: taie istoricul vechi, trimite doar fragmentele relevante din documente și limitează rezultatele tool-urilor.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Mesajul compară două numere: limita modelului (maximum context length) și câți tokeni au rezultat din mesajele tale. Diferența îți spune cât trebuie să tai. Codul erorii din corpul răspunsului este context_length_exceeded.

Ca la Claude, contează tot ce trimiți: instrucțiunile (system / instructions), istoricul, documentele lipite, definițiile și rezultatele tool-urilor. Problema apare de obicei treptat: conversațiile cresc, documentele încărcate de utilizatori sunt mai mari decât în teste, un tool întoarce mii de rânduri. Variante ale mesajului diferă după API și versiune (de exemplu, la Responses API: Your input exceeds the context window of this model.), dar cauza e aceeași.

Reparația ține de ce trimiți, nu de cod: istoric limitat sau rezumat, RAG în loc de documente întregi, rezultate de tool-uri trunchiate. Ca plasă de siguranță, prinzi openai.BadRequestError și reîncerci cu o cerere mai mică.

De ce apare: cauzele frecvente

1Document întreg trimis la fiecare întrebare

Greșit
PYTHON
mesaje = [{"role": "system", "content": "Răspunzi din regulament:\n" + regulament},
          {"role": "user", "content": intrebare}]
Corect
PYTHON
fragmente = cauta(regulament, intrebare, k=3)
mesaje = [{"role": "system", "content": "Răspunzi din fragmentele:\n" + "\n".join(fragmente)},
          {"role": "user", "content": intrebare}]

Doar fragmentele relevante ajung la model; cererea rămâne mică oricât de mare e regulamentul.

2Rezultat de tool netrunchiat

Greșit
PYTHON
output = json.dumps(toate_comenzile)   # 50.000 de rânduri
Corect
PYTHON
output = json.dumps(toate_comenzile[:50]) + f"\n(încă {len(toate_comenzile) - 50} rânduri omise)"

Modelul are nevoie de un rezumat sau de primele rânduri, nu de tot tabelul.

Repară tu

Repară eroarea, direct în pagină

Programul de mai jos răspunde din regulamentul unei biblioteci și primește openai.BadRequestError: ... maximum context length ... (în simulator, prima cerere e prea lungă). Repară funcția raspunde(intrebare): prinde openai.BadRequestError; dacă mesajul conține maximum context length, trimite din nou doar paragrafele regulamentului care conțin cuvântul împrumut și afișează Context redus la N paragrafe. Programul afișează răspunsul.

Codul care dă eroarea
PYTHON
from openai import OpenAI

MODEL = "gpt-6-luna"
client = OpenAI()

REGULAMENT = """Art. 1. Biblioteca este deschisă de luni până vineri, între 9 și 19.
Art. 2. Termenul de împrumut pentru o carte este de 14 zile.
Art. 3. Împrumutul se poate prelungi o singură dată, cu încă 7 zile.
Art. 4. În sala de lectură nu se consumă alimente."""


def raspunde(intrebare):
    mesaje = [{"role": "system", "content": "Răspunzi doar din regulament:\n" + REGULAMENT},
              {"role": "user", "content": intrebare}]
    r = client.chat.completions.create(model=MODEL, messages=mesaje)
    return r.choices[0].message.content


print(raspunde("Pot prelungi împrumutul unei cărți?"))
După reparație, programul afișează
Context redus la 2 paragrafe
Da, împrumutul se poate prelungi o singură dată, cu încă 7 zile.
Indiciu

Împarte REGULAMENT cu split("\n") și păstrează paragrafele care conțin împrumut.

Alte forme ale mesajului

  • openai.BadRequestError: Error code: 400 - {'error': {'message': "This model's maximum context length is 128000 tokens. However, your messages resulted in 130457 tokens. Please reduce the length of the messages.", 'type': 'invalid_request_error', 'param': 'messages', 'code': 'context_length_exceeded'}}
  • Your input exceeds the context window of this model. Please adjust your input and try again.

Cum o eviți pe viitor

  • Estimează mărimea cererii înainte de trimitere și păstrează o marjă față de limită.
  • Taie istoricul la ultimele schimburi sau rezumă mesajele vechi.
  • Folosește RAG pentru documente mari și trunchiază rezultatele tool-urilor.
  • Testează aplicația și cu conversațiile și documentele cele mai mari pe care le poate trimite un utilizator real, nu doar cu exemplele scurte din dezvoltare.

Întrebări frecvente

Limita include și răspunsul?

Fereastra de context cuprinde intrarea și ieșirea. Lasă loc pentru răspuns: dacă intrarea e aproape de limită, nici răspunsul nu mai încape.

De ce dau peste limită doar unii utilizatori?

Pentru că doar conversațiile lor sau documentele lor sunt mari. Testează aplicația și cu conversații lungi și documente mari, nu doar cu exemplele scurte.

Erori înrudite

← Toate erorile Aplicații AI cu LLM

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Aplicații AI cu LLM de la zero, cu exerciții la fiecare lecție

Curs Aplicații AI cu Claude și OpenAI: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 8 lecții sunt gratuite.