...
← Curs Aplicații AI cu Claude și OpenAI: toate lecțiile
Lecția 3 · Cum funcționează LLM-urile

Tokenii: unitatea de măsură a modelelor

Modelele nu citesc litere și nici cuvinte întregi, ci tokeni. După ei plătești, după ei se măsoară limita de text pe care o poate primi modelul și tot după ei se măsoară cât de lung e un răspuns. În această lecție vezi cum arată tokenii, de ce româna consumă mai mulți și cum îi numeri din cod, înainte și după un apel.

De ce contează tokenii în aplicația ta

Când lansezi o aplicație AI, trei întrebări practice apar imediat: cât mă costă un utilizator, cât text pot trimite modelului odată și cât de repede vine răspunsul. Toate trei se măsoară în tokeni.

FacturaPlătești pe token

Prețurile sunt în dolari per milion de tokeni, separat pentru tokenii trimiși (intrare) și cei generați (ieșire).

LimitaFereastra de context

Modelul primește cel mult un anumit număr de tokeni pe apel (lecția 4).

VitezaUn token pe pas

Răspunsul e scris token cu token (lecția 2): mai mulți tokeni de ieșire = răspuns mai lent.

Ce este un token

Un token este o bucată de text dintr-un vocabular fix al modelului: un cuvânt frecvent întreg (the, order), o parte dintr-un cuvânt mai rar (exped + ia + tă), o cifră sau un grup de cifre, un semn de punctuație. Spațiul dinaintea unui cuvânt face de obicei parte din token.

Engleză: 6 tokeni pentru 23 de caractereYour␣order␣has␣shipped.Română: 9 tokeni pentru 28 de caractereComanda␣ta␣a␣fost␣expediată.Ilustrativ: fiecare model are tokenizerul lui, dar tendința e aceeași (␣ = spațiul face parte din token).
Aceeași propoziție în engleză și în română: cuvintele românești, mai lungi și cu diacritice, se împart în mai multe bucăți.
  • În engleză, regula practică este aproximativ 4 caractere pe token (cam trei sferturi de cuvânt).
  • Româna consumă mai mulți tokeni pentru același mesaj: vocabularul tokenizerului a fost construit mai ales din text englezesc, iar cuvintele cu diacritice (ă, â, î, ș, ț) și terminațiile (-ului, -ilor) se sparg mai des în bucăți.
  • Codul, JSON-ul și numerele lungi au și ele tokenii lor: o acoladă sau o ghilimea pot fi tokeni separați.
  • Fiecare model are tokenizerul lui: același text poate avea un număr diferit de tokeni la Claude și la GPT.

Scrie orice text mai jos și vezi cum se împarte și cât ar costa pe fiecare model. Încearcă aceeași frază cu și fără diacritice și apoi în engleză.

Despre numerele din curs

Simulatorul și vizualizarea folosesc o aproximare simplă a tokenizerului, ca rezultatele să fie aceleași peste tot. Numerele reale diferă puțin; pentru un număr exact întrebi chiar API-ul, ca în secțiunea următoare.

Numără tokenii înainte să trimiți: count_tokens

API-ul Claude are un endpoint separat care doar numără tokenii unei cereri, fără să genereze răspuns: client.messages.count_tokens(...). Primește aceiași parametri ca messages.create (model, messages, opțional system și tools), dar fără max_tokens, și întoarce un obiect cu câmpul input_tokens.

import anthropic

MODEL = "claude-haiku-5-5"
client = anthropic.Anthropic()

texte = [
    "Returns are accepted within 30 days of delivery, if the product is unused and in its original packaging.",
    "Returul este acceptat în 30 de zile de la livrare, dacă produsul nu a fost folosit și este în ambalajul original.",
]

for text in texte:
    numar = client.messages.count_tokens(
        model=MODEL,
        messages=[{"role": "user", "content": text}],
    )
    print(numar.input_tokens, "tokeni |", len(text), "caractere")
37 tokeni | 104 caractere
40 tokeni | 113 caractere

Aceeași informație, în română, a costat câțiva tokeni în plus. Pe un mesaj nu contează, dar pe un milion de mesaje pe lună diferența se vede în factură. Observă și că numărul include câțiva tokeni pentru structura mesajului (rolul și delimitările), nu doar textul tău.

Când folosești count_tokens

Înainte să trimiți un document lung (verifici dacă încape în limită sau îl tai în bucăți), ca să estimezi costul unei cereri mari sau ca să afișezi utilizatorului cât din limita lui a consumat.

Tokenii unui apel real: usage

După fiecare messages.create, răspunsul îți spune exact câți tokeni ai consumat în raspuns.usage: input_tokens (tot ce ai trimis) și output_tokens (ce a scris modelul). Înmulțești cu prețul pe milion și ai costul apelului.

import anthropic

MODEL = "claude-haiku-5-5"
PRET_INTRARE = 0.10   # dolari per 1 milion de tokeni (Claude Haiku 5.5)
PRET_IESIRE = 0.50

client = anthropic.Anthropic()

raspuns = client.messages.create(
    model=MODEL,
    max_tokens=200,
    messages=[{"role": "user", "content": "Scrie o descriere de o frază pentru un laptop de 14 inch cu 16 GB RAM."}],
)

print(raspuns.content[0].text)
intrare = raspuns.usage.input_tokens
iesire = raspuns.usage.output_tokens
cost = intrare * PRET_INTRARE / 1_000_000 + iesire * PRET_IESIRE / 1_000_000
print("Tokeni:", intrare, "intrare +", iesire, "ieșire")
print(f"Cost: {cost:.6f} $")
Laptop ușor de 14 inch, cu 16 GB RAM: rapid la cursuri, comod în rucsac și gata de lucru toată ziua.
Tokeni: 31 intrare + 33 ieșire
Cost: 0.000020 $
1
Prețurile stau în constante la începutul programului: Claude Haiku 5.5 costă 0,10 $ per milion de tokeni de intrare și 0,50 $ per milion de ieșire.
2
usage.input_tokens și usage.output_tokens vin de la API: sunt numerele după care ești facturat.
3
Costul = tokeni × preț / 1.000.000, separat pentru intrare și ieșire. Un apel mic costă fracțiuni de cent; contează volumul.

În lecția 7 transformi acest calcul într-o funcție reutilizabilă pentru toate modelele și estimezi costul lunar al unei aplicații.

Greșeli frecvente și bune practici

  • Estimezi costul după numărul de cuvinte: în română ies mai mulți tokeni decât cuvinte. Măsoară cu count_tokens sau cu usage.
  • Dai max_tokens la count_tokens: primești TypeError cu mesajul unexpected keyword argument 'max_tokens'. Limita de ieșire nu are sens când nu se generează nimic.
  • Citești numar.tokens sau numar["input_tokens"]: câmpul este atributul numar.input_tokens.
  • Uiți că tokenii de ieșire sunt de 5 ori mai scumpi la Haiku 5.5: cere răspunsuri scurte când nu ai nevoie de unele lungi („răspunde în maximum 3 fraze”).
  • Trimiți la fiecare cerere texte mari care nu ajută (tot catalogul, tot istoricul): fiecare token trimis se plătește la fiecare apel.
Bună practică

Loghează usage la fiecare apel din aplicația ta (modelul, tokenii de intrare și de ieșire). Așa afli devreme care funcție a aplicației consumă cel mai mult și unde merită optimizat.

Exercițiul tău

Un magazin online vrea să știe care dintre două texte consumă mai mulți tokeni. Numără tokenii lui TEXT_1 și TEXT_2 cu count_tokens și afișează Text 1: N tokeni, Text 2: M tokeni, apoi Mai lung: Text 1 sau Mai lung: Text 2, după cum ies numerele.

  • Apelează client.messages.count_tokens cu model=MODEL și un mesaj user care conține textul (fără max_tokens).
  • Citește numărul din .input_tokens; o funcție mică numara(text) te scutește de cod repetat.
  • Afișează Text 1: N tokeni și Text 2: M tokeni.
  • Compară numerele cu if și afișează care text e mai lung.
rezultat = client.messages.count_tokens(model=MODEL, messages=[{"role": "user", "content": text}]), apoi rezultat.input_tokens.

Soluția exercițiului

import anthropic

MODEL = "claude-haiku-5-5"

TEXT_1 = "Îți mulțumim că ai ales magazinul nostru. Coletul tău pleacă astăzi și ajunge în două zile lucrătoare."
TEXT_2 = "Laptop ușor, 14 inch, 16 GB RAM, ideal pentru studenți."

client = anthropic.Anthropic()


def numara(text):
    rezultat = client.messages.count_tokens(
        model=MODEL,
        messages=[{"role": "user", "content": text}],
    )
    return rezultat.input_tokens


n1 = numara(TEXT_1)
n2 = numara(TEXT_2)
print("Text 1:", n1, "tokeni")
print("Text 2:", n2, "tokeni")
if n1 > n2:
    print("Mai lung: Text 1")
else:
    print("Mai lung: Text 2")
Excelent! Continuă cu lecția următoare →
main.pyPython
ConsolăSe încarcă...
Mediul de lucru se încarcă. Poți citi lecția între timp.
Rulează codul cu butonul de sus sau cu Ctrl + Enter / Cmd + Enter.
Parcursul tău Cum funcționează LLM-urile Lecția 3 · Tokenii: unitatea de măsură a modelelor
Progres 0% 0 din 10
Lecția curentă 3 / 8 Cum funcționează llm-urile