Ce este un LLM și cum generează, de fapt, textul?
Răspuns scurt: Un LLM este o rețea neuronală antrenată pe cantități mari de text care, primind o secvență de tokeni, estimează probabilitatea următorului token. Textul se generează token cu token, fiecare token nou fiind adăugat la intrare pentru pasul următor.
LLM (Large Language Model) înseamnă un model de limbaj mare, de obicei bazat pe arhitectura transformer. În timpul antrenării, modelul vede miliarde de fragmente de text și învață să prezică următorul token pe baza celor dinainte. Nu are o bază de date cu fapte pe care o consultă; tot ce „știe” este comprimat în parametrii (greutățile) rețelei.
La generare, procesul este autoregresiv:
- primește promptul transformat în tokeni;
- calculează o distribuție de probabilitate peste tot vocabularul pentru următorul token;
- alege un token din distribuție (în funcție de temperatură și alți parametri);
- adaugă tokenul la secvență și repetă, până la un token de oprire sau până la limita de tokeni.
De aici vin câteva consecințe practice pe care un AI Engineer trebuie să le înțeleagă. Costul și latența cresc cu numărul de tokeni generați, pentru că fiecare token înseamnă un pas de calcul. Modelul poate produce text fluent și convingător, dar greșit, pentru că optimizează plauzibilitatea, nu adevărul. Și nu „gândește” înainte de a scrie decât dacă îi dai spațiu să scrie raționamentul (sau dacă modelul are un mod de reasoning dedicat).
Înțelegerea acestui mecanism explică aproape toate tehnicile din meserie: prompturi, RAG, tool use, evaluare.
Ce urmărește intervievatorul: Verifică dacă ai un model mental corect, nu magic, despre LLM-uri. Greșeala tipică: a spune că modelul „caută pe internet” sau „înțelege” ca un om.
