
Un LLM (large language model, model lingvistic mare) este un program de inteligență artificială antrenat pe cantități uriașe de text ca să prezică, bucată cu bucată, ce urmează într-o propoziție. ChatGPT funcționează exact așa: primește întrebarea ta, calculează care e cel mai probabil fragment următor de text, îl adaugă și repetă până termină răspunsul.
Dacă vrei să înveți practic, curs AI pentru productivitate are primele lecții gratuite, cu exerciții verificate direct în browser.
În articol vezi, pe pași, cum ajunge un model ca ChatGPT de la text brut la răspunsuri utile, un mic program Python care imită ideea de bază și ce poate și ce nu poate face un LLM.
Ce este un LLM, pe înțelesul tuturor
Un LLM este, în esență, un sistem de completare automată foarte bun. Seamănă cu sugestiile de pe tastatura telefonului, doar că a citit o parte imensă din textul public de pe internet, cărți și cod, iar în loc să ghicească un singur cuvânt, poate scrie pagini întregi care au sens.
Numele spune trei lucruri. „Model” înseamnă o funcție matematică cu foarte mulți parametri, adică numere ajustate în timpul antrenării. „Lingvistic” înseamnă că lucrează cu limbaj: text în română, engleză, cod Python sau SQL. „Mare” se referă la cât de mulți parametri are și la cât text a văzut. Modelele moderne au miliarde de parametri, motiv pentru care rulează pe servere cu plăci grafice specializate, nu pe laptopul tău.
Un LLM face parte din familia inteligenței artificiale și, mai exact, din machine learning: nimeni nu i-a scris regulile gramaticii sau răspunsurile. Le-a dedus singur din exemple. Dacă vrei să înțelegi bazele de la zero, în cursul nostru de Machine Learning și AI ajungi pas cu pas de la primele modele la rețele neuronale, transformere și LLM-uri.
Cum funcționează ChatGPT: cei 4 pași de la text la răspuns
ChatGPT transformă textul tău în numere, le trece printr-o rețea neuronală uriașă și primește înapoi probabilități pentru fragmentul următor. Procesul are patru etape, iar fiecare explică o parte din comportamentul pe care îl vezi când stai de vorbă cu el.
1. Textul e tăiat în tokeni
Un token este o bucată de text: un cuvânt scurt, o parte dintr-un cuvânt, un semn de punctuație sau un spațiu. Cuvântul „programatorilor” poate fi împărțit în mai mulți tokeni, iar „la” e de obicei unul singur. Modelul nu vede litere, vede doar o listă de numere, fiecare corespunzând unui token din vocabularul lui.
De aici vin și câteva ciudățenii: un LLM greșește uneori când îi ceri să numere literele dintr-un cuvânt, pentru că nu „vede” literele separat. Tot de aici vin și limitele exprimate în tokeni, nu în cuvinte. Textul în română consumă de obicei mai mulți tokeni decât același text în engleză, pentru că vocabularul modelelor e construit mai ales din texte englezești.
2. Fiecare token devine un vector
Un vector (embedding) este o listă lungă de numere care descrie sensul unui token. Tokenii cu sens apropiat, cum ar fi „mașină” și „autoturism”, ajung să aibă vectori apropiați. Modelul învață singur aceste coordonate în timpul antrenării, fără ca cineva să-i spună ce înseamnă fiecare cuvânt.
3. Transformerul citește tot contextul
Transformerul este arhitectura de rețea neuronală pe care se bazează aproape toate LLM-urile de azi, descrisă în 2017 în lucrarea Attention Is All You Need. Ideea centrală se numește atenție: pentru fiecare token, modelul calculează cât de mult contează fiecare dintre ceilalți tokeni din text.
În propoziția „Am pus laptopul pe masă, dar era prea grea”, atenția îl ajută pe model să lege „grea” de „masă”, nu de „laptopul”. Cantitatea de text pe care o poate cântări odată se numește fereastră de context. Tot ce ai scris în conversație, plus instrucțiunile primite de la aplicație, trebuie să încapă în ea.
4. Modelul alege tokenul următor și repetă
La final, rețeaua dă o probabilitate pentru fiecare token posibil. Aplicația alege unul (nu întotdeauna pe cel mai probabil, ca textul să nu sune mecanic), îl lipește la final și reia tot calculul. Un răspuns de 300 de cuvinte înseamnă sute de astfel de pași, motiv pentru care vezi textul apărând treptat pe ecran.
Un mini „LLM” în 20 de linii de Python
Cel mai simplu mod de a înțelege predicția tokenului următor e să construiești o versiune minusculă. Programul de mai jos citește patru propoziții, numără ce cuvânt urmează după fiecare cuvânt și apoi „scrie” alegând de fiecare dată varianta cea mai frecventă.
from collections import Counter, defaultdict
text = """trenul de la Cluj pleacă la ora opt
trenul de la Iași pleacă la ora nouă
trenul de la Cluj întârzie zece minute
autobuzul de la Cluj pleacă la ora opt"""
urmatoare = defaultdict(Counter)
for linie in text.splitlines():
cuvinte = linie.split()
for a, b in zip(cuvinte, cuvinte[1:]):
urmatoare[a][b] += 1
def continua(cuvant, pasi=6):
rezultat = [cuvant]
for _ in range(pasi):
variante = urmatoare.get(rezultat[-1])
if not variante:
break
rezultat.append(variante.most_common(1)[0][0])
return " ".join(rezultat)
print(urmatoare["Cluj"])
print(urmatoare["la"])
print(continua("trenul"))
print(continua("autobuzul")) Rezultatul, rulat cu Python 3:
Counter({'pleacă': 2, 'întârzie': 1})
Counter({'Cluj': 3, 'ora': 3, 'Iași': 1})
trenul de la Cluj pleacă la Cluj
autobuzul de la Cluj pleacă la Cluj Pe scurt, ce face fiecare parte:
urmatoareține, pentru fiecare cuvânt, un numărător cu toate cuvintele care au apărut după el. După „Cluj” a venit de două ori „pleacă” și o dată „întârzie”.- Bucla
for a, b in zip(...)parcurge perechile de cuvinte vecine. Asta e „antrenarea” noastră: numărăm. continua()pornește de la un cuvânt și adaugă, de fiecare dată, cuvântul cel mai des întâlnit după ultimul. E exact bucla de la pasul 4, doar că fără rețea neuronală.
Observă greșeala: „pleacă la Cluj”. După „la” au urmat la fel de des „Cluj” și „ora”, iar programul nostru vede doar ultimul cuvânt, așa că nu știe că după „pleacă la” vine o oră. Un LLM real rezolvă tocmai problema asta: prin atenție, se uită la tot contextul, nu doar la cuvântul dinainte, și învață din miliarde de propoziții, nu din patru.
Cum e antrenat un LLM ca ChatGPT
Un LLM trece prin două mari etape de antrenare: întâi învață limba din text brut, apoi e reglat să fie un asistent util. Fără a doua etapă ar continua textul tău la nimereală, în loc să-ți răspundă.
Prima etapă se numește preantrenare. Modelul primește fragmente de text și trebuie să ghicească tokenul următor. Când greșește, parametrii lui sunt ajustați puțin, prin metoda numită gradient descent. Repetat de un număr astronomic de ori, procesul îl face să învețe gramatică, fapte, stiluri de scriere și chiar tipare de cod. Etapa asta costă cel mai mult și durează săptămâni pe mii de plăci grafice.
A doua etapă e ajustarea fină. Oameni scriu exemple de conversații bune și compară perechi de răspunsuri, spunând care e mai util și mai sigur. Modelul e antrenat apoi să prefere răspunsurile apreciate. Metoda, numită RLHF (reinforcement learning from human feedback), e descrisă de OpenAI în lucrarea despre InstructGPT, precursorul lui ChatGPT. De aici vin tonul politicos, structura cu titluri și refuzul unor cereri.
Peste model, aplicații ca ChatGPT mai adaugă unelte: căutare pe web, rularea de cod, citirea fișierelor încărcate. Când ChatGPT îți dă o sursă de azi, de obicei a căutat-o pe internet. Modelul în sine știe doar ce a văzut până la data la care s-a oprit antrenarea.
Ce poate și ce nu poate face un LLM
Un LLM e foarte bun la orice sarcină care înseamnă a transforma un text în alt text: rezumă, traduce, rescrie, explică, generează cod. E slab acolo unde e nevoie de fapte verificate, calcule exacte sau informații pe care nu le-a văzut.
| Sarcină | Cât de bine o face | De ce |
|---|---|---|
| Rezumatul unui document lung | Foarte bine | Are textul în context și doar îl reformulează |
| Explicarea unui mesaj de eroare din cod | Bine | A văzut milioane de erori și soluțiile lor |
| Scrierea unei funcții simple în Python | Bine, dar trebuie testată | Codul arată corect, dar poate ascunde greșeli |
| Calcule cu multe cifre | Nesigur fără unealtă de calcul | Prezice cifre ca pe niște tokeni, nu face aritmetică |
| Citarea unei legi sau a unui articol științific | Riscant | Poate inventa titluri și numere de articol plauzibile |
| Știri de ieri | Doar cu căutare pe web | Modelul nu știe nimic după data antrenării |
Fenomenul prin care un LLM spune ceva fals, dar sigur pe el, se numește halucinație. Nu e o eroare rară care va dispărea la versiunea următoare, ci o consecință a felului în care funcționează: modelul generează text plauzibil, nu caută într-o bază de date de adevăruri. Regula practică e simplă: tot ce contează (o cifră, un nume, un articol de lege, un fragment de cod pus în producție) verifici înainte să folosești.
LLM-uri cunoscute și unde le întâlnești
ChatGPT este produsul, iar GPT este familia de modele din spatele lui, dezvoltată de OpenAI. Diferența contează: același model poate fi folosit în zeci de aplicații diferite.
Alte familii de LLM-uri pe care le auzi des sunt Gemini (Google), Claude (Anthropic), Llama (Meta) și Mistral. Unele, precum Llama, au parametrii publicați, deci pot fi descărcate și rulate pe propriile servere; altele sunt disponibile doar prin aplicația sau API-ul firmei. Le întâlnești în chatbot-uri, dar și în asistenți de programare care completează cod în editor, în căutarea pe Google, în suportul clienților de la bănci și magazine online sau în aplicațiile de traducere.
Pentru un programator, un LLM devine mai ales o unealtă de lucru. Am scris separat despre cum îți corectezi codul cu AI și înveți din greșeli, iar dacă te întrebi dacă aceste modele vor lua locul oamenilor, citește dacă va înlocui AI programatorii.
LLM, machine learning și deep learning: cum se leagă
Un LLM este un caz particular de deep learning, care e o ramură a machine learning, care la rândul ei e o parte din inteligența artificială. Gândește-te la ele ca la niște cercuri unul în altul.
- Inteligența artificială e domeniul larg: orice sistem care face sarcini pentru care altfel ar fi nevoie de un om.
- Machine learning înseamnă sisteme care învață din date, de la un model simplu care estimează prețul unui apartament din Cluj până la recunoașterea fețelor. Am explicat conceptul cu exemple în articolul despre machine learning explicat simplu.
- Deep learning folosește rețele neuronale cu multe straturi, potrivite pentru imagini, sunet și text.
- LLM-urile sunt rețele neuronale de tip transformer, foarte mari, specializate pe text.
Diferența practică pentru tine: nu ai nevoie de un LLM ca să rezolvi orice problemă cu date. Pentru a prezice dacă un client va plăti factura la timp, un model clasic de machine learning e mai ieftin, mai rapid și mai ușor de explicat. Dacă vrei un curs de inițiere aplicat, Google are un modul gratuit despre modelele lingvistice în Machine Learning Crash Course.
Cum ajungi să lucrezi cu LLM-uri
Ca să construiești aplicații cu LLM-uri ai nevoie întâi de Python și de bazele machine learning, nu de un doctorat. Majoritatea joburilor din zona asta înseamnă să folosești modele existente, prin API sau prin biblioteci, și să le legi de datele unei firme.
Ordinea pe care o recomandăm unui începător:
- Python, până scrii confortabil funcții, liste, dicționare și lucrezi cu fișiere.
- Lucrul cu date: NumPy, pandas și puțină statistică.
- Machine learning clasic: regresie, clasificare, evaluarea unui model.
- Rețele neuronale și transformere, ca să înțelegi ce se întâmplă în spatele unui LLM.
- Proiecte cu LLM-uri: un chatbot care răspunde din documentele unei firme sau un sistem care clasifică automat e-mailuri.
Pașii aceștia formează traseul de Data Scientist / ML Engineer de pe site, cu cursurile puse în ordinea în care merită parcurse.
Întrebări frecvente
Ce înseamnă LLM?
LLM vine de la large language model, adică model lingvistic mare. E un program de inteligență artificială antrenat pe foarte mult text, care generează răspunsuri prezicând fragmentul următor de text.
ChatGPT este un LLM?
Nu chiar. ChatGPT este o aplicație de conversație construită peste LLM-uri din familia GPT, dezvoltate de OpenAI. Aplicația adaugă interfața, memoria conversației și unelte precum căutarea pe web.
LLM-ul înțelege ce scrie?
Nu în sensul în care înțelege un om. Modelul a învățat legături statistice foarte bogate între cuvinte și idei, suficiente ca să explice, să traducă și să scrie cod, dar nu are intenții și nu verifică singur dacă ce spune e adevărat.
De ce inventează ChatGPT uneori informații?
Pentru că generează text plauzibil, nu caută răspunsul într-o bază de date. Când nu are informația, poate produce ceva care sună corect, dar e fals. Fenomenul se numește halucinație, iar remediul e verificarea în surse sigure.
Pot rula un LLM pe calculatorul meu?
Da, modelele mici cu parametri publici rulează pe un laptop modern, mai ales dacă are o placă grafică bună. Sunt mai lente și mai puțin capabile decât modelele mari din cloud, dar bune pentru experimente.
Trebuie să știu matematică avansată ca să lucrez cu LLM-uri?
Nu pentru început. Ca să folosești un LLM printr-un API ajung Python și logica de programare. Algebra liniară și probabilitățile devin utile când vrei să antrenezi sau să ajustezi tu modele.
Primul pas: scrie propriul predictor de cuvinte
Copiază programul de mai sus, adaugă încă zece propoziții despre trenuri și autobuze și modifică funcția continua() ca să se uite la ultimele două cuvinte, nu doar la ultimul. Vei vedea cu ochii tăi de ce contextul mai lung face textul mai coerent, adică ideea pe care se bazează orice LLM.
Dacă vrei să mergi mai departe, începe cursul de Machine Learning și AI pentru începători: primele lecții sunt gratuite, fără card, iar codul Python rulează direct în browser, fără să instalezi nimic. Cursurile care vin după el le găsești în ordine în traseul de Data Scientist / ML Engineer.
Curs AI pentru productivitate
Folosești ChatGPT, Claude și Gemini ca să lucrezi mai repede și mai bine, fără programare
Începe gratuit
