Rutarea: trimiți fiecare cerere unde trebuie
La ghișeul unei bănci, cineva te întreabă pe scurt ce vrei și te trimite la colegul potrivit. Rutarea face la fel: un clasificator ieftin pune o etichetă pe cerere, iar codul tău o trimite la handler-ul specializat, cu system promptul și modelul lui. Cazurile pe care nu le acoperi ajung la un om.
De ce nu un singur prompt pentru tot
Un singur system prompt care știe tot (carduri, dobânzi, reclamații, credite) devine lung, scump și greu de întreținut: o schimbare pentru reclamații poate strica răspunsurile despre carduri. Mai mult, ai plăti modelul cel mai puternic pentru întrebări banale.
Rutarea este al doilea tipar de workflow, după înlănțuire: pasul 1 clasifică, pasul 2 tratează cererea cu un handler specializat. Fiecare handler are promptul lui mic și clar și modelul potrivit dificultății.
Pasul 1: clasificatorul
Clasificatorul este un apel la cel mai mic model, cu ieșire JSON garantată și un enum cu categoriile permise. Modelul nu poate întoarce o categorie inventată, iar codul tău primește mereu una dintre cele patru.
import json
import anthropic
client = anthropic.Anthropic()
CLASIFICATOR = "claude-haiku-5-5"
CATEGORII = ["card", "informatii", "reclamatie", "altceva"]
SCHEMA = {"type": "object", "properties": {"categorie": {"type": "string", "enum": CATEGORII}},
"required": ["categorie"], "additionalProperties": False}
def clasifica(mesaj):
"""Un apel ieftin: doar eticheta, ca JSON garantat."""
r = client.messages.create(
model=CLASIFICATOR, max_tokens=50,
system="Ești clasificatorul cererilor primite de Banca Nordică. Alege categoria potrivită.",
messages=[{"role": "user", "content": mesaj}],
output_config={"format": {"type": "json_schema", "schema": SCHEMA}})
return json.loads(r.content[0].text)["categorie"]
print(clasifica("Mi-am pierdut cardul aseară, ce fac?"))
card
Pune mereu o categorie de rezervă (aici altceva). Fără ea, clasificatorul este obligat să aleagă o categorie greșită pentru o cerere neprevăzută, iar clientul primește un răspuns din alt domeniu.
Pasul 2: tabelul de rute
Ruta este un simplu dicționar: categorie → model și system prompt. Nu e nevoie de if-uri înșirate; adaugi o categorie nouă adăugând o intrare. Tot ce nu e în dicționar merge la un om.
RUTE = {
"card": {"model": "claude-haiku-5-5",
"system": "Ești specialistul pe carduri al Băncii Nordice. Dai pașii concreți, scurt."},
"informatii": {"model": "claude-haiku-5-5",
"system": "Ești consultantul Băncii Nordice pentru dobânzi și produse de economisire."},
"reclamatie": {"model": "claude-sonnet-5-5",
"system": "Ești ofițerul de reclamații al Băncii Nordice. Analizezi atent și propui o soluție."},
}
for categorie in ["card", "reclamatie", "altceva"]:
ruta = RUTE.get(categorie)
print(categorie, "->", ruta["model"] if ruta else "operator uman")
card -> claude-haiku-5-5 reclamatie -> claude-sonnet-5-5 altceva -> operator uman
| Categorie | Model | De ce | Preț intrare / ieșire ($ pe 1M tokeni) |
|---|---|---|---|
| card | claude-haiku-5-5 | pași standard, răspuns scurt | 0,10 / 0,50 |
| informatii | claude-haiku-5-5 | informații dintr-un prompt mic | 0,10 / 0,50 |
| reclamatie | claude-sonnet-5-5 | cazuri complicate, ton atent | 2 / 10 |
| altceva | operator uman | în afara domeniului băncii | - |
Sonnet costă de 20 de ori mai mult decât Haiku. Dacă doar una din zece cereri e o reclamație complicată, rutarea îți taie costul aproape de 20 de ori față de varianta „Sonnet pentru tot”, iar clasificatorul adaugă un cost foarte mic.
Greșeli frecvente
- Clasificatorul răspunde cu text liber („Cred că e despre card”). Fără json_schema și enum, codul tău trebuie să ghicească eticheta din text. Cere JSON.
- Lipsește ruta de rezervă. RUTE[categorie] aruncă KeyError la o categorie neprevăzută; folosește RUTE.get(categorie) și trimite la un om.
- Handler-ul primește system promptul clasificatorului. Fiecare apel trebuie să folosească system promptul rutei, altfel specializarea nu are efect.
- Folosești modelul mare pentru clasificare. Clasificarea e o sarcină simplă; modelul mic o face bine și repede. Păstrează modelul mare pentru handler-ele grele.
Rutarea în aplicații reale
Carduri, credite, reclamații: fiecare cu promptul și regulile lui de conformitate.
Parole și acces la un handler automat, defectele hardware direct la echipa de teren.
Întrebările despre livrare la Haiku, disputele de plată la Sonnet și apoi la un om.
Banca Nordică primește 4 mesaje. Clasifică fiecare mesaj cu clasifica (dată), apoi trimite-l la handler-ul din RUTE, cu modelul și system promptul rutei. Mesajele fără rută ajung în coada operatorilor umani, LA_OM.
- Scrie trateaza(mesaj, categorie): dacă RUTE.get(categorie) este None, adaugă mesajul în LA_OM și întoarce ("om", "Am trimis mesajul unui coleg.").
- Altfel apelează client.messages.create cu model și system din rută, max_tokens=400 și mesajul clientului; întoarce (model, text).
- Pentru fiecare mesaj din MESAJE: clasifică, tratează și afișează categorie | model | răspuns.
- Ultima linie (coada operatorilor umani) e deja în starter.
Soluția exercițiului
import json
import anthropic
client = anthropic.Anthropic()
CLASIFICATOR = "claude-haiku-5-5"
CATEGORII = ["card", "informatii", "reclamatie", "altceva"]
SCHEMA = {"type": "object", "properties": {"categorie": {"type": "string", "enum": CATEGORII}},
"required": ["categorie"], "additionalProperties": False}
def clasifica(mesaj):
"""Un apel ieftin: doar eticheta, ca JSON garantat."""
r = client.messages.create(
model=CLASIFICATOR, max_tokens=50,
system="Ești clasificatorul cererilor primite de Banca Nordică. Alege categoria potrivită.",
messages=[{"role": "user", "content": mesaj}],
output_config={"format": {"type": "json_schema", "schema": SCHEMA}})
return json.loads(r.content[0].text)["categorie"]
RUTE = {
"card": {"model": "claude-haiku-5-5",
"system": "Ești specialistul pe carduri al Băncii Nordice. Dai pașii concreți, scurt."},
"informatii": {"model": "claude-haiku-5-5",
"system": "Ești consultantul Băncii Nordice pentru dobânzi și produse de economisire."},
"reclamatie": {"model": "claude-sonnet-5-5",
"system": "Ești ofițerul de reclamații al Băncii Nordice. Analizezi atent și propui o soluție."},
}
MESAJE = [
"Mi-am pierdut cardul aseară, ce fac?",
"Ce dobândă aveți la depozitul pe 12 luni?",
"Mi s-a retras de două ori rata de 1.200 lei la credit, am sunat deja și nu s-a rezolvat nimic.",
"Ce părere aveți despre meciul de aseară?",
]
LA_OM = [] # coada operatorilor umani (starea reală)
def trateaza(mesaj, categorie):
ruta = RUTE.get(categorie)
if ruta is None:
LA_OM.append(mesaj)
return "om", "Am trimis mesajul unui coleg."
r = client.messages.create(model=ruta["model"], max_tokens=400, system=ruta["system"],
messages=[{"role": "user", "content": mesaj}])
return ruta["model"], r.content[0].text
for mesaj in MESAJE:
categorie = clasifica(mesaj)
model, raspuns = trateaza(mesaj, categorie)
print(f"{categorie} | {model} | {raspuns}")
print("Coada operatorilor umani:", LA_OM) 