anthropic.BadRequestError: Error code: 400 - prompt is too long: 1048712 tokens > 1000000 maximum
Tot ce trimiți (system prompt, istoricul conversației, documentele, tool-urile) depășește fereastra de context a modelului. Scurtează cererea: păstrează doar ultimele mesaje, rezumă istoricul vechi și trimite doar bucățile relevante din documente (RAG), nu documentele întregi.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Fereastra de context e numărul maxim de tokeni pe care modelul îi poate primi într-o cerere. Mesajul îți dă ambele numere: câți tokeni a avut cererea ta și care e limita modelului. Contează tot: system, toate mesajele din messages, definițiile tool-urilor, rezultatele tool-urilor și imaginile.
Cauzele tipice: un chatbot care trimite la fiecare apel tot istoricul, de la primul mesaj, și crește până dă de limită; documente lungi (contracte, cărți, loguri) lipite întregi în prompt; rezultate uriașe de tool-uri (un SELECT fără LIMIT, o pagină web întreagă). De obicei eroarea nu apare din prima zi, ci după ce conversațiile sau datele cresc.
Poți afla înainte de trimitere câți tokeni are cererea, cu client.messages.count_tokens(...), și poți tăia din timp. Ca plasă de siguranță, prinzi BadRequestError, recunoști prompt is too long și reîncerci cu un istoric scurtat.
De ce apare: cauzele frecvente
1Tot istoricul trimis la fiecare mesaj
istoric.append({"role": "user", "content": mesaj})
r = client.messages.create(model=MODEL, max_tokens=500, messages=istoric)istoric.append({"role": "user", "content": mesaj})
recente = istoric[-20:]
while recente[0]["role"] != "user":
recente = recente[1:]
r = client.messages.create(model=MODEL, max_tokens=500, messages=recente)Ultimele mesaje sunt de obicei suficiente pentru context; lista trimisă rămâne mică indiferent cât durează conversația.
2Document întreg lipit în prompt
prompt = f"Răspunde din manual:\n{manual_complet}\n\nÎntrebare: {intrebare}"bucati = cauta_bucati_relevante(intrebare, k=4)
prompt = f"Răspunde din fragmentele:\n{bucati}\n\nÎntrebare: {intrebare}"Cu RAG trimiți doar fragmentele care conțin răspunsul: cerere mai mică, mai ieftină și mai rapidă.
3Lungimea nu e verificată înainte de trimitere
r = client.messages.create(model=MODEL, max_tokens=500, system=SYSTEM, messages=mesaje)n = client.messages.count_tokens(model=MODEL, system=SYSTEM, messages=mesaje).input_tokens
if n > BUGET:
mesaje = scurteaza(mesaje)
r = client.messages.create(model=MODEL, max_tokens=500, system=SYSTEM, messages=mesaje)count_tokens îți spune mărimea cererii înainte să o trimiți, deci poți tăia din timp.
Repară eroarea, direct în pagină
Chatbotul de mai jos trimite tot istoricul și primește BadRequestError: ... prompt is too long (în simulator, prima cerere e prea lungă). Repară funcția raspunde(istoric): prinde anthropic.BadRequestError; dacă mesajul conține prompt is too long, păstrează doar ultimele 6 mesaje (cu primul mesaj de la user), afișează Istoric scurtat la N mesaje și trimite din nou. Programul afișează răspunsul.
import anthropic
MODEL = "claude-haiku-5-5"
client = anthropic.Anthropic()
istoric = []
for i in range(1, 41):
istoric.append({"role": "user", "content": f"Întrebarea {i} despre comanda mea."})
istoric.append({"role": "assistant", "content": f"Răspunsul {i}."})
istoric.append({"role": "user", "content": "Deci când ajunge coletul?"})
def raspunde(istoric):
r = client.messages.create(model=MODEL, max_tokens=200, messages=istoric)
return r.content[0].text
print(raspunde(istoric))Istoric scurtat la 5 mesaje Coletul ajunge mâine, între 10 și 14.
Indiciu
Taie cu istoric[-6:], apoi scoate de la început mesajele care nu sunt user.
Reparația
import anthropic
MODEL = "claude-haiku-5-5"
client = anthropic.Anthropic()
istoric = []
for i in range(1, 41):
istoric.append({"role": "user", "content": f"Întrebarea {i} despre comanda mea."})
istoric.append({"role": "assistant", "content": f"Răspunsul {i}."})
istoric.append({"role": "user", "content": "Deci când ajunge coletul?"})
def raspunde(istoric):
try:
r = client.messages.create(model=MODEL, max_tokens=200, messages=istoric)
except anthropic.BadRequestError as e:
if "prompt is too long" not in e.message:
raise
recente = istoric[-6:]
while recente[0]["role"] != "user":
recente = recente[1:]
print(f"Istoric scurtat la {len(recente)} mesaje")
r = client.messages.create(model=MODEL, max_tokens=200, messages=recente)
return r.content[0].text
print(raspunde(istoric))De ce merge
Când cererea depășește fereastra de context, API-ul o refuză cu 400, iar reîncercarea identică ar eșua la fel. Funcția reparată recunoaște cazul după mesaj, păstrează doar ultimele schimburi (cele care contează pentru întrebarea curentă) și retrimite. Tăierea se face astfel încât primul mesaj să fie de la user, altfel ai primi altă eroare 400. Într-o aplicație reală, verifici dimensiunea și înainte, cu count_tokens.
Alte forme ale mesajului
anthropic.BadRequestError: Error code: 400 - {'type': 'error', 'error': {'type': 'invalid_request_error', 'message': 'prompt is too long: 208310 tokens > 200000 maximum'}}
Cum o eviți pe viitor
- Pune un buget de tokeni pe istoric și taie sau rezumă mesajele vechi când îl depășești.
- Folosește RAG pentru documente: doar fragmentele relevante intră în prompt.
- Limitează rezultatele tool-urilor (rânduri, caractere) înainte să le trimiți la model.
- Chiar sub limită, cererile mari costă mai mult și răspund mai încet: ține contextul cât mai mic.
Întrebări frecvente
Dacă modelul are 1 milion de tokeni context, de ce să mai tai?
Pentru cost și viteză: plătești fiecare token de intrare la fiecare apel. Un istoric de 100.000 de tokeni trimis la fiecare mesaj costă mult mai mult decât unul de 5.000.
Cum număr tokenii înainte să trimit?
Cu client.messages.count_tokens(model=..., system=..., messages=...), care întoarce input_tokens pentru exact cererea respectivă.
Erori înrudite
openai.BadRequestError: Error code: 400 - This model's maximum context length is 272000 tokens. However, your messages resulted in 289114 tokens. Please reduce the length of the messages. Cererea trimisă la OpenAI are mai mulți tokeni decât fereastra de context a modelului (`context_length_exceeded`). Scurtează mesajele: taie istoricul vechi, trimite doar fragmentele relevante din documente și limitează rezultatele tool-urilor. anthropic.BadRequestError: Error code: 400 - messages: first message must use the "user" role Lista `messages` începe cu un mesaj `assistant`, iar API-ul Claude cere ca primul mesaj să fie de la `user`. Apare des după ce tai istoricul conversației și rămâne în față un răspuns al asistentului: taie în perechi sau scoate mesajele `assistant` de la început. anthropic.BadRequestError: Error code: 400 - max_tokens: 200000 > 128000, which is the maximum allowed number of output tokens for claude-haiku-5-5 Ai cerut un `max_tokens` mai mare decât poate genera modelul într-un răspuns. Pune o valoare sub limita modelului, pe măsura răspunsului de care ai nevoie (de exemplu 1000–4000 pentru texte obișnuite), și verifică `stop_reason` ca să știi dacă răspunsul a fost tăiat. Învață Aplicații AI cu LLM de la zero, cu exerciții la fiecare lecție
Curs Aplicații AI cu Claude și OpenAI: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 8 lecții sunt gratuite.
