Tokenii: unitatea de măsură a modelelor
Modelele nu citesc litere și nici cuvinte întregi, ci tokeni. După ei plătești, după ei se măsoară limita de text pe care o poate primi modelul și tot după ei se măsoară cât de lung e un răspuns. În această lecție vezi cum arată tokenii, de ce româna consumă mai mulți și cum îi numeri din cod, înainte și după un apel.
De ce contează tokenii în aplicația ta
Când lansezi o aplicație AI, trei întrebări practice apar imediat: cât mă costă un utilizator, cât text pot trimite modelului odată și cât de repede vine răspunsul. Toate trei se măsoară în tokeni.
Prețurile sunt în dolari per milion de tokeni, separat pentru tokenii trimiși (intrare) și cei generați (ieșire).
Modelul primește cel mult un anumit număr de tokeni pe apel (lecția 4).
Răspunsul e scris token cu token (lecția 2): mai mulți tokeni de ieșire = răspuns mai lent.
Ce este un token
Un token este o bucată de text dintr-un vocabular fix al modelului: un cuvânt frecvent întreg (the, order), o parte dintr-un cuvânt mai rar (exped + ia + tă), o cifră sau un grup de cifre, un semn de punctuație. Spațiul dinaintea unui cuvânt face de obicei parte din token.
- În engleză, regula practică este aproximativ 4 caractere pe token (cam trei sferturi de cuvânt).
- Româna consumă mai mulți tokeni pentru același mesaj: vocabularul tokenizerului a fost construit mai ales din text englezesc, iar cuvintele cu diacritice (ă, â, î, ș, ț) și terminațiile (-ului, -ilor) se sparg mai des în bucăți.
- Codul, JSON-ul și numerele lungi au și ele tokenii lor: o acoladă sau o ghilimea pot fi tokeni separați.
- Fiecare model are tokenizerul lui: același text poate avea un număr diferit de tokeni la Claude și la GPT.
Scrie orice text mai jos și vezi cum se împarte și cât ar costa pe fiecare model. Încearcă aceeași frază cu și fără diacritice și apoi în engleză.
Simulatorul și vizualizarea folosesc o aproximare simplă a tokenizerului, ca rezultatele să fie aceleași peste tot. Numerele reale diferă puțin; pentru un număr exact întrebi chiar API-ul, ca în secțiunea următoare.
Numără tokenii înainte să trimiți: count_tokens
API-ul Claude are un endpoint separat care doar numără tokenii unei cereri, fără să genereze răspuns: client.messages.count_tokens(...). Primește aceiași parametri ca messages.create (model, messages, opțional system și tools), dar fără max_tokens, și întoarce un obiect cu câmpul input_tokens.
import anthropic
MODEL = "claude-haiku-5-5"
client = anthropic.Anthropic()
texte = [
"Returns are accepted within 30 days of delivery, if the product is unused and in its original packaging.",
"Returul este acceptat în 30 de zile de la livrare, dacă produsul nu a fost folosit și este în ambalajul original.",
]
for text in texte:
numar = client.messages.count_tokens(
model=MODEL,
messages=[{"role": "user", "content": text}],
)
print(numar.input_tokens, "tokeni |", len(text), "caractere")
37 tokeni | 104 caractere 40 tokeni | 113 caractere
Aceeași informație, în română, a costat câțiva tokeni în plus. Pe un mesaj nu contează, dar pe un milion de mesaje pe lună diferența se vede în factură. Observă și că numărul include câțiva tokeni pentru structura mesajului (rolul și delimitările), nu doar textul tău.
Înainte să trimiți un document lung (verifici dacă încape în limită sau îl tai în bucăți), ca să estimezi costul unei cereri mari sau ca să afișezi utilizatorului cât din limita lui a consumat.
Tokenii unui apel real: usage
După fiecare messages.create, răspunsul îți spune exact câți tokeni ai consumat în raspuns.usage: input_tokens (tot ce ai trimis) și output_tokens (ce a scris modelul). Înmulțești cu prețul pe milion și ai costul apelului.
import anthropic
MODEL = "claude-haiku-5-5"
PRET_INTRARE = 0.10 # dolari per 1 milion de tokeni (Claude Haiku 5.5)
PRET_IESIRE = 0.50
client = anthropic.Anthropic()
raspuns = client.messages.create(
model=MODEL,
max_tokens=200,
messages=[{"role": "user", "content": "Scrie o descriere de o frază pentru un laptop de 14 inch cu 16 GB RAM."}],
)
print(raspuns.content[0].text)
intrare = raspuns.usage.input_tokens
iesire = raspuns.usage.output_tokens
cost = intrare * PRET_INTRARE / 1_000_000 + iesire * PRET_IESIRE / 1_000_000
print("Tokeni:", intrare, "intrare +", iesire, "ieșire")
print(f"Cost: {cost:.6f} $")
Laptop ușor de 14 inch, cu 16 GB RAM: rapid la cursuri, comod în rucsac și gata de lucru toată ziua. Tokeni: 31 intrare + 33 ieșire Cost: 0.000020 $
În lecția 7 transformi acest calcul într-o funcție reutilizabilă pentru toate modelele și estimezi costul lunar al unei aplicații.
Greșeli frecvente și bune practici
- Estimezi costul după numărul de cuvinte: în română ies mai mulți tokeni decât cuvinte. Măsoară cu count_tokens sau cu usage.
- Dai max_tokens la count_tokens: primești TypeError cu mesajul unexpected keyword argument 'max_tokens'. Limita de ieșire nu are sens când nu se generează nimic.
- Citești numar.tokens sau numar["input_tokens"]: câmpul este atributul numar.input_tokens.
- Uiți că tokenii de ieșire sunt de 5 ori mai scumpi la Haiku 5.5: cere răspunsuri scurte când nu ai nevoie de unele lungi („răspunde în maximum 3 fraze”).
- Trimiți la fiecare cerere texte mari care nu ajută (tot catalogul, tot istoricul): fiecare token trimis se plătește la fiecare apel.
Loghează usage la fiecare apel din aplicația ta (modelul, tokenii de intrare și de ieșire). Așa afli devreme care funcție a aplicației consumă cel mai mult și unde merită optimizat.
Un magazin online vrea să știe care dintre două texte consumă mai mulți tokeni. Numără tokenii lui TEXT_1 și TEXT_2 cu count_tokens și afișează Text 1: N tokeni, Text 2: M tokeni, apoi Mai lung: Text 1 sau Mai lung: Text 2, după cum ies numerele.
- Apelează client.messages.count_tokens cu model=MODEL și un mesaj user care conține textul (fără max_tokens).
- Citește numărul din .input_tokens; o funcție mică numara(text) te scutește de cod repetat.
- Afișează Text 1: N tokeni și Text 2: M tokeni.
- Compară numerele cu if și afișează care text e mai lung.
Soluția exercițiului
import anthropic
MODEL = "claude-haiku-5-5"
TEXT_1 = "Îți mulțumim că ai ales magazinul nostru. Coletul tău pleacă astăzi și ajunge în două zile lucrătoare."
TEXT_2 = "Laptop ușor, 14 inch, 16 GB RAM, ideal pentru studenți."
client = anthropic.Anthropic()
def numara(text):
rezultat = client.messages.count_tokens(
model=MODEL,
messages=[{"role": "user", "content": text}],
)
return rezultat.input_tokens
n1 = numara(TEXT_1)
n2 = numara(TEXT_2)
print("Text 1:", n1, "tokeni")
print("Text 2:", n2, "tokeni")
if n1 > n2:
print("Mai lung: Text 1")
else:
print("Mai lung: Text 2") 