...
Eroare Aplicații AI cu LLM · Fereastra de context și max_tokens

anthropic.BadRequestError: Error code: 400 - prompt is too long: 1048712 tokens > 1000000 maximum

Pe scurt

Tot ce trimiți (system prompt, istoricul conversației, documentele, tool-urile) depășește fereastra de context a modelului. Scurtează cererea: păstrează doar ultimele mesaje, rezumă istoricul vechi și trimite doar bucățile relevante din documente (RAG), nu documentele întregi.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Fereastra de context e numărul maxim de tokeni pe care modelul îi poate primi într-o cerere. Mesajul îți dă ambele numere: câți tokeni a avut cererea ta și care e limita modelului. Contează tot: system, toate mesajele din messages, definițiile tool-urilor, rezultatele tool-urilor și imaginile.

Cauzele tipice: un chatbot care trimite la fiecare apel tot istoricul, de la primul mesaj, și crește până dă de limită; documente lungi (contracte, cărți, loguri) lipite întregi în prompt; rezultate uriașe de tool-uri (un SELECT fără LIMIT, o pagină web întreagă). De obicei eroarea nu apare din prima zi, ci după ce conversațiile sau datele cresc.

Poți afla înainte de trimitere câți tokeni are cererea, cu client.messages.count_tokens(...), și poți tăia din timp. Ca plasă de siguranță, prinzi BadRequestError, recunoști prompt is too long și reîncerci cu un istoric scurtat.

De ce apare: cauzele frecvente

1Tot istoricul trimis la fiecare mesaj

Greșit
PYTHON
istoric.append({"role": "user", "content": mesaj})
r = client.messages.create(model=MODEL, max_tokens=500, messages=istoric)
Corect
PYTHON
istoric.append({"role": "user", "content": mesaj})
recente = istoric[-20:]
while recente[0]["role"] != "user":
    recente = recente[1:]
r = client.messages.create(model=MODEL, max_tokens=500, messages=recente)

Ultimele mesaje sunt de obicei suficiente pentru context; lista trimisă rămâne mică indiferent cât durează conversația.

2Document întreg lipit în prompt

Greșit
PYTHON
prompt = f"Răspunde din manual:\n{manual_complet}\n\nÎntrebare: {intrebare}"
Corect
PYTHON
bucati = cauta_bucati_relevante(intrebare, k=4)
prompt = f"Răspunde din fragmentele:\n{bucati}\n\nÎntrebare: {intrebare}"

Cu RAG trimiți doar fragmentele care conțin răspunsul: cerere mai mică, mai ieftină și mai rapidă.

3Lungimea nu e verificată înainte de trimitere

Greșit
PYTHON
r = client.messages.create(model=MODEL, max_tokens=500, system=SYSTEM, messages=mesaje)
Corect
PYTHON
n = client.messages.count_tokens(model=MODEL, system=SYSTEM, messages=mesaje).input_tokens
if n > BUGET:
    mesaje = scurteaza(mesaje)
r = client.messages.create(model=MODEL, max_tokens=500, system=SYSTEM, messages=mesaje)

count_tokens îți spune mărimea cererii înainte să o trimiți, deci poți tăia din timp.

Repară tu

Repară eroarea, direct în pagină

Chatbotul de mai jos trimite tot istoricul și primește BadRequestError: ... prompt is too long (în simulator, prima cerere e prea lungă). Repară funcția raspunde(istoric): prinde anthropic.BadRequestError; dacă mesajul conține prompt is too long, păstrează doar ultimele 6 mesaje (cu primul mesaj de la user), afișează Istoric scurtat la N mesaje și trimite din nou. Programul afișează răspunsul.

Codul care dă eroarea
PYTHON
import anthropic

MODEL = "claude-haiku-5-5"
client = anthropic.Anthropic()

istoric = []
for i in range(1, 41):
    istoric.append({"role": "user", "content": f"Întrebarea {i} despre comanda mea."})
    istoric.append({"role": "assistant", "content": f"Răspunsul {i}."})
istoric.append({"role": "user", "content": "Deci când ajunge coletul?"})


def raspunde(istoric):
    r = client.messages.create(model=MODEL, max_tokens=200, messages=istoric)
    return r.content[0].text


print(raspunde(istoric))
După reparație, programul afișează
Istoric scurtat la 5 mesaje
Coletul ajunge mâine, între 10 și 14.
Indiciu

Taie cu istoric[-6:], apoi scoate de la început mesajele care nu sunt user.

Alte forme ale mesajului

  • anthropic.BadRequestError: Error code: 400 - {'type': 'error', 'error': {'type': 'invalid_request_error', 'message': 'prompt is too long: 208310 tokens > 200000 maximum'}}

Cum o eviți pe viitor

  • Pune un buget de tokeni pe istoric și taie sau rezumă mesajele vechi când îl depășești.
  • Folosește RAG pentru documente: doar fragmentele relevante intră în prompt.
  • Limitează rezultatele tool-urilor (rânduri, caractere) înainte să le trimiți la model.
  • Chiar sub limită, cererile mari costă mai mult și răspund mai încet: ține contextul cât mai mic.

Întrebări frecvente

Dacă modelul are 1 milion de tokeni context, de ce să mai tai?

Pentru cost și viteză: plătești fiecare token de intrare la fiecare apel. Un istoric de 100.000 de tokeni trimis la fiecare mesaj costă mult mai mult decât unul de 5.000.

Cum număr tokenii înainte să trimit?

Cu client.messages.count_tokens(model=..., system=..., messages=...), care întoarce input_tokens pentru exact cererea respectivă.

Erori înrudite

← Toate erorile Aplicații AI cu LLM

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Aplicații AI cu LLM de la zero, cu exerciții la fiecare lecție

Curs Aplicații AI cu Claude și OpenAI: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 8 lecții sunt gratuite.