...
← Blog Data & ai

Ce este un LLM și cum funcționează ChatGPT, pe înțeles

Ce este un LLM: sigla cursului de Machine Learning în centru, legată de siglele Python și Data Analysis with Python

Un LLM (large language model, model lingvistic mare) este un program de inteligență artificială antrenat pe cantități uriașe de text ca să prezică, bucată cu bucată, ce urmează într-o propoziție. ChatGPT funcționează exact așa: primește întrebarea ta, calculează care e cel mai probabil fragment următor de text, îl adaugă și repetă până termină răspunsul.

În articol vezi, pe pași, cum ajunge un model ca ChatGPT de la text brut la răspunsuri utile, un mic program Python care imită ideea de bază și ce poate și ce nu poate face un LLM.

Ce este un LLM, pe înțelesul tuturor

Un LLM este, în esență, un sistem de completare automată foarte bun. Seamănă cu sugestiile de pe tastatura telefonului, doar că a citit o parte imensă din textul public de pe internet, cărți și cod, iar în loc să ghicească un singur cuvânt, poate scrie pagini întregi care au sens.

Numele spune trei lucruri. „Model” înseamnă o funcție matematică cu foarte mulți parametri, adică numere ajustate în timpul antrenării. „Lingvistic” înseamnă că lucrează cu limbaj: text în română, engleză, cod Python sau SQL. „Mare” se referă la cât de mulți parametri are și la cât text a văzut. Modelele moderne au miliarde de parametri, motiv pentru care rulează pe servere cu plăci grafice specializate, nu pe laptopul tău.

Un LLM face parte din familia inteligenței artificiale și, mai exact, din machine learning: nimeni nu i-a scris regulile gramaticii sau răspunsurile. Le-a dedus singur din exemple. Dacă vrei să înțelegi bazele de la zero, în cursul nostru de Machine Learning și AI ajungi pas cu pas de la primele modele la rețele neuronale, transformere și LLM-uri.

Cum funcționează ChatGPT: cei 4 pași de la text la răspuns

ChatGPT transformă textul tău în numere, le trece printr-o rețea neuronală uriașă și primește înapoi probabilități pentru fragmentul următor. Procesul are patru etape, iar fiecare explică o parte din comportamentul pe care îl vezi când stai de vorbă cu el.

1. Textul e tăiat în tokeni

Un token este o bucată de text: un cuvânt scurt, o parte dintr-un cuvânt, un semn de punctuație sau un spațiu. Cuvântul „programatorilor” poate fi împărțit în mai mulți tokeni, iar „la” e de obicei unul singur. Modelul nu vede litere, vede doar o listă de numere, fiecare corespunzând unui token din vocabularul lui.

De aici vin și câteva ciudățenii: un LLM greșește uneori când îi ceri să numere literele dintr-un cuvânt, pentru că nu „vede” literele separat. Tot de aici vin și limitele exprimate în tokeni, nu în cuvinte. Textul în română consumă de obicei mai mulți tokeni decât același text în engleză, pentru că vocabularul modelelor e construit mai ales din texte englezești.

2. Fiecare token devine un vector

Un vector (embedding) este o listă lungă de numere care descrie sensul unui token. Tokenii cu sens apropiat, cum ar fi „mașină” și „autoturism”, ajung să aibă vectori apropiați. Modelul învață singur aceste coordonate în timpul antrenării, fără ca cineva să-i spună ce înseamnă fiecare cuvânt.

3. Transformerul citește tot contextul

Transformerul este arhitectura de rețea neuronală pe care se bazează aproape toate LLM-urile de azi, descrisă în 2017 în lucrarea Attention Is All You Need. Ideea centrală se numește atenție: pentru fiecare token, modelul calculează cât de mult contează fiecare dintre ceilalți tokeni din text.

În propoziția „Am pus laptopul pe masă, dar era prea grea”, atenția îl ajută pe model să lege „grea” de „masă”, nu de „laptopul”. Cantitatea de text pe care o poate cântări odată se numește fereastră de context. Tot ce ai scris în conversație, plus instrucțiunile primite de la aplicație, trebuie să încapă în ea.

4. Modelul alege tokenul următor și repetă

La final, rețeaua dă o probabilitate pentru fiecare token posibil. Aplicația alege unul (nu întotdeauna pe cel mai probabil, ca textul să nu sune mecanic), îl lipește la final și reia tot calculul. Un răspuns de 300 de cuvinte înseamnă sute de astfel de pași, motiv pentru care vezi textul apărând treptat pe ecran.

Un mini „LLM” în 20 de linii de Python

Cel mai simplu mod de a înțelege predicția tokenului următor e să construiești o versiune minusculă. Programul de mai jos citește patru propoziții, numără ce cuvânt urmează după fiecare cuvânt și apoi „scrie” alegând de fiecare dată varianta cea mai frecventă.

from collections import Counter, defaultdict

text = """trenul de la Cluj pleacă la ora opt
trenul de la Iași pleacă la ora nouă
trenul de la Cluj întârzie zece minute
autobuzul de la Cluj pleacă la ora opt"""

urmatoare = defaultdict(Counter)
for linie in text.splitlines():
    cuvinte = linie.split()
    for a, b in zip(cuvinte, cuvinte[1:]):
        urmatoare[a][b] += 1


def continua(cuvant, pasi=6):
    rezultat = [cuvant]
    for _ in range(pasi):
        variante = urmatoare.get(rezultat[-1])
        if not variante:
            break
        rezultat.append(variante.most_common(1)[0][0])
    return " ".join(rezultat)


print(urmatoare["Cluj"])
print(urmatoare["la"])
print(continua("trenul"))
print(continua("autobuzul"))

Rezultatul, rulat cu Python 3:

Counter({'pleacă': 2, 'întârzie': 1})
Counter({'Cluj': 3, 'ora': 3, 'Iași': 1})
trenul de la Cluj pleacă la Cluj
autobuzul de la Cluj pleacă la Cluj

Pe scurt, ce face fiecare parte:

  • urmatoare ține, pentru fiecare cuvânt, un numărător cu toate cuvintele care au apărut după el. După „Cluj” a venit de două ori „pleacă” și o dată „întârzie”.
  • Bucla for a, b in zip(...) parcurge perechile de cuvinte vecine. Asta e „antrenarea” noastră: numărăm.
  • continua() pornește de la un cuvânt și adaugă, de fiecare dată, cuvântul cel mai des întâlnit după ultimul. E exact bucla de la pasul 4, doar că fără rețea neuronală.

Observă greșeala: „pleacă la Cluj”. După „la” au urmat la fel de des „Cluj” și „ora”, iar programul nostru vede doar ultimul cuvânt, așa că nu știe că după „pleacă la” vine o oră. Un LLM real rezolvă tocmai problema asta: prin atenție, se uită la tot contextul, nu doar la cuvântul dinainte, și învață din miliarde de propoziții, nu din patru.

Cum e antrenat un LLM ca ChatGPT

Un LLM trece prin două mari etape de antrenare: întâi învață limba din text brut, apoi e reglat să fie un asistent util. Fără a doua etapă ar continua textul tău la nimereală, în loc să-ți răspundă.

Prima etapă se numește preantrenare. Modelul primește fragmente de text și trebuie să ghicească tokenul următor. Când greșește, parametrii lui sunt ajustați puțin, prin metoda numită gradient descent. Repetat de un număr astronomic de ori, procesul îl face să învețe gramatică, fapte, stiluri de scriere și chiar tipare de cod. Etapa asta costă cel mai mult și durează săptămâni pe mii de plăci grafice.

A doua etapă e ajustarea fină. Oameni scriu exemple de conversații bune și compară perechi de răspunsuri, spunând care e mai util și mai sigur. Modelul e antrenat apoi să prefere răspunsurile apreciate. Metoda, numită RLHF (reinforcement learning from human feedback), e descrisă de OpenAI în lucrarea despre InstructGPT, precursorul lui ChatGPT. De aici vin tonul politicos, structura cu titluri și refuzul unor cereri.

Peste model, aplicații ca ChatGPT mai adaugă unelte: căutare pe web, rularea de cod, citirea fișierelor încărcate. Când ChatGPT îți dă o sursă de azi, de obicei a căutat-o pe internet. Modelul în sine știe doar ce a văzut până la data la care s-a oprit antrenarea.

Ce poate și ce nu poate face un LLM

Un LLM e foarte bun la orice sarcină care înseamnă a transforma un text în alt text: rezumă, traduce, rescrie, explică, generează cod. E slab acolo unde e nevoie de fapte verificate, calcule exacte sau informații pe care nu le-a văzut.

SarcinăCât de bine o faceDe ce
Rezumatul unui document lungFoarte bineAre textul în context și doar îl reformulează
Explicarea unui mesaj de eroare din codBineA văzut milioane de erori și soluțiile lor
Scrierea unei funcții simple în PythonBine, dar trebuie testatăCodul arată corect, dar poate ascunde greșeli
Calcule cu multe cifreNesigur fără unealtă de calculPrezice cifre ca pe niște tokeni, nu face aritmetică
Citarea unei legi sau a unui articol științificRiscantPoate inventa titluri și numere de articol plauzibile
Știri de ieriDoar cu căutare pe webModelul nu știe nimic după data antrenării

Fenomenul prin care un LLM spune ceva fals, dar sigur pe el, se numește halucinație. Nu e o eroare rară care va dispărea la versiunea următoare, ci o consecință a felului în care funcționează: modelul generează text plauzibil, nu caută într-o bază de date de adevăruri. Regula practică e simplă: tot ce contează (o cifră, un nume, un articol de lege, un fragment de cod pus în producție) verifici înainte să folosești.

LLM-uri cunoscute și unde le întâlnești

ChatGPT este produsul, iar GPT este familia de modele din spatele lui, dezvoltată de OpenAI. Diferența contează: același model poate fi folosit în zeci de aplicații diferite.

Alte familii de LLM-uri pe care le auzi des sunt Gemini (Google), Claude (Anthropic), Llama (Meta) și Mistral. Unele, precum Llama, au parametrii publicați, deci pot fi descărcate și rulate pe propriile servere; altele sunt disponibile doar prin aplicația sau API-ul firmei. Le întâlnești în chatbot-uri, dar și în asistenți de programare care completează cod în editor, în căutarea pe Google, în suportul clienților de la bănci și magazine online sau în aplicațiile de traducere.

Pentru un programator, un LLM devine mai ales o unealtă de lucru. Am scris separat despre cum îți corectezi codul cu AI și înveți din greșeli, iar dacă te întrebi dacă aceste modele vor lua locul oamenilor, citește dacă va înlocui AI programatorii.

LLM, machine learning și deep learning: cum se leagă

Un LLM este un caz particular de deep learning, care e o ramură a machine learning, care la rândul ei e o parte din inteligența artificială. Gândește-te la ele ca la niște cercuri unul în altul.

  1. Inteligența artificială e domeniul larg: orice sistem care face sarcini pentru care altfel ar fi nevoie de un om.
  2. Machine learning înseamnă sisteme care învață din date, de la un model simplu care estimează prețul unui apartament din Cluj până la recunoașterea fețelor. Am explicat conceptul cu exemple în articolul despre machine learning explicat simplu.
  3. Deep learning folosește rețele neuronale cu multe straturi, potrivite pentru imagini, sunet și text.
  4. LLM-urile sunt rețele neuronale de tip transformer, foarte mari, specializate pe text.

Diferența practică pentru tine: nu ai nevoie de un LLM ca să rezolvi orice problemă cu date. Pentru a prezice dacă un client va plăti factura la timp, un model clasic de machine learning e mai ieftin, mai rapid și mai ușor de explicat. Dacă vrei un curs de inițiere aplicat, Google are un modul gratuit despre modelele lingvistice în Machine Learning Crash Course.

Cum ajungi să lucrezi cu LLM-uri

Ca să construiești aplicații cu LLM-uri ai nevoie întâi de Python și de bazele machine learning, nu de un doctorat. Majoritatea joburilor din zona asta înseamnă să folosești modele existente, prin API sau prin biblioteci, și să le legi de datele unei firme.

Ordinea pe care o recomandăm unui începător:

  1. Python, până scrii confortabil funcții, liste, dicționare și lucrezi cu fișiere.
  2. Lucrul cu date: NumPy, pandas și puțină statistică.
  3. Machine learning clasic: regresie, clasificare, evaluarea unui model.
  4. Rețele neuronale și transformere, ca să înțelegi ce se întâmplă în spatele unui LLM.
  5. Proiecte cu LLM-uri: un chatbot care răspunde din documentele unei firme sau un sistem care clasifică automat e-mailuri.

Pașii aceștia formează traseul de Data Scientist / ML Engineer de pe site, cu cursurile puse în ordinea în care merită parcurse.

Întrebări frecvente

Ce înseamnă LLM?

LLM vine de la large language model, adică model lingvistic mare. E un program de inteligență artificială antrenat pe foarte mult text, care generează răspunsuri prezicând fragmentul următor de text.

ChatGPT este un LLM?

Nu chiar. ChatGPT este o aplicație de conversație construită peste LLM-uri din familia GPT, dezvoltate de OpenAI. Aplicația adaugă interfața, memoria conversației și unelte precum căutarea pe web.

LLM-ul înțelege ce scrie?

Nu în sensul în care înțelege un om. Modelul a învățat legături statistice foarte bogate între cuvinte și idei, suficiente ca să explice, să traducă și să scrie cod, dar nu are intenții și nu verifică singur dacă ce spune e adevărat.

De ce inventează ChatGPT uneori informații?

Pentru că generează text plauzibil, nu caută răspunsul într-o bază de date. Când nu are informația, poate produce ceva care sună corect, dar e fals. Fenomenul se numește halucinație, iar remediul e verificarea în surse sigure.

Pot rula un LLM pe calculatorul meu?

Da, modelele mici cu parametri publici rulează pe un laptop modern, mai ales dacă are o placă grafică bună. Sunt mai lente și mai puțin capabile decât modelele mari din cloud, dar bune pentru experimente.

Trebuie să știu matematică avansată ca să lucrez cu LLM-uri?

Nu pentru început. Ca să folosești un LLM printr-un API ajung Python și logica de programare. Algebra liniară și probabilitățile devin utile când vrei să antrenezi sau să ajustezi tu modele.

Primul pas: scrie propriul predictor de cuvinte

Copiază programul de mai sus, adaugă încă zece propoziții despre trenuri și autobuze și modifică funcția continua() ca să se uite la ultimele două cuvinte, nu doar la ultimul. Vei vedea cu ochii tăi de ce contextul mai lung face textul mai coerent, adică ideea pe care se bazează orice LLM.

Dacă vrei să mergi mai departe, începe cursul de Machine Learning și AI pentru începători: primele lecții sunt gratuite, fără card, iar codul Python rulează direct în browser, fără să instalezi nimic. Cursurile care vin după el le găsești în ordine în traseul de Data Scientist / ML Engineer.

Logo Curs AI pentru productivitate Interactiv · 8 lecții gratuite

Curs AI pentru productivitate

Folosești ChatGPT, Claude și Gemini ca să lucrezi mai repede și mai bine, fără programare

Începe gratuit

Citește și

Primul tău program e la 5 minute distanță.

Creează-ți contul gratuit și începe primele 15 lecții. Fără card, fără instalări.

Începe gratuit