Cum „gândește” un model de limbaj când scrie cod
Ca să lucrezi bine cu un asistent de cod trebuie să știi cum funcționează pe dinăuntru, măcar în mare. În lecția asta afli ce sunt tokenii, ce vede modelul și ce nu vede (fereastra de context), de ce același prompt dă răspunsuri diferite, de ce nu știe bibliotecile noi și de ce inventează uneori, cu toată siguranța, funcții care nu există.
Un model de limbaj continuă text
Un model de limbaj (în engleză *large language model*, prescurtat LLM) face, în esență, un singur lucru: primește un text și prezice, bucată cu bucată, ce urmează cel mai plauzibil. Când îi scrii def calculeaza_tarif(greutate_kg):, modelul a văzut în antrenare milioane de funcții care încep așa și continuă cu ce „se potrivește” de obicei: un if, un return, un calcul.
Bucățile cu care lucrează se numesc tokeni. Un token e, aproximativ, un cuvânt scurt, o parte dintr-un cuvânt sau un semn. Cuvintele englezești frecvente sunt adesea un singur token, iar cele românești cu diacritice se rup de obicei în mai multe bucăți.
| Text | Cum l-ar putea împărți un model (ilustrativ) | Tokeni (aprox.) |
|---|---|---|
| def | def | 1 |
| return total | return · total | 2 |
| calculeaza_tarif | calcul · eaza · _tar · if | 4 |
| livrare gratuită | livr · are · gratu · ită | 4 |
Împărțirea exactă diferă de la un model la altul. Regula practică: un text în română are cam un token la 3 caractere. Tokenii contează pentru că limitele modelului (cât poate citi și cât poate scrie dintr-o dată) se măsoară în tokeni, nu în linii de cod.
Fereastra de context: masa de lucru
Tot ce poate folosi modelul când îți răspunde se află în fereastra de context: promptul tău, mesajele anterioare din aceeași conversație, codul pe care l-ai lipit și, la uneltele din editor sau la agenți, fișierele pe care unealta le-a citit singură. Plus cunoștințele generale învățate la antrenare.
Ce nu e pe masă, modelul nu știe. Nu știe că la ColetExpres AWB-ul are 2 litere și 8 cifre, nu știe că în proiect funcțiile au nume în română, nu știe ce versiune de Flask e instalată la Andrei. Și nu „își amintește” de chatul de ieri: o conversație nouă pornește cu masa goală.
Masa are o mărime limitată. Într-o conversație foarte lungă, primele mesaje pot ieși din fereastră sau pot conta mai puțin. Dacă asistentul pare să fi „uitat” o regulă spusă la început, repet-o sau pornește o conversație nouă cu un rezumat.
Același prompt, răspunsuri diferite
La fiecare pas, modelul nu alege mereu cel mai probabil token, ci unul dintre cei probabili, cu o doză de variație. De aceea, dacă îi ceri de două ori același lucru, primești două variante. Andrei a cerut de două ori „scrie o funcție Python care verifică dacă un AWB ColetExpres are 2 litere mari și 8 cifre”:
Varianta 1
import re
def awb_valid(awb):
return re.fullmatch(r"[A-Z]{2}\d{8}", awb) is not NoneVarianta 2
def este_awb_valid(cod: str) -> bool:
return len(cod) == 10 and cod[:2].isalpha() and cod[:2].isupper() and cod[2:].isdigit()Ambele arată rezonabil, dar nu fac exact același lucru: a doua acceptă și litere cu diacritice (ȘT12345678), pentru că isalpha() și isupper() le consideră litere mari. Nu poți presupune că o variantă e corectă doar pentru că prima a fost. Fiecare răspuns se verifică separat.
- Nu te baza pe faptul că „data trecută a mers”: regenerarea poate aduce altă greșeală.
- Dacă vrei rezultate stabile, fixează în prompt numele, tipurile și exemplele (lecția 4).
- Când două variante diferă, e un semn bun să te întrebi care e regula corectă.
Cunoștințe până la o dată și halucinații
Modelul a fost antrenat pe date adunate până la o anumită dată. Bibliotecile apărute după, versiunile noi și funcțiile redenumite nu le știe sau le știe parțial. Poate să-ți recomande o funcție care a fost scoasă din bibliotecă sau să folosească sintaxa veche.
Mai grav, modelul poate halucina: produce cod care arată perfect plauzibil, dar folosește lucruri care nu există. Andrei a cerut „o colecție Python care păstrează ordinea și nu are duplicate” și a primit:
from collections import OrderedSet awb_unice = OrderedSet(["CE10000001", "CE10000002", "CE10000001"])
Modulul collections are OrderedDict, Counter, defaultdict, deque, dar nu are OrderedSet. La rulare, Python oprește programul cu ImportError: cannot import name 'OrderedSet' from 'collections'. Numele sună exact ca ceva ce ar putea exista, fiindcă modelul a combinat tipare pe care le-a văzut. Varianta corectă, din biblioteca standard: list(dict.fromkeys(awb_uri)), care păstrează ordinea și elimină duplicatele.
Halucinațiile cele mai periculoase nu sunt importurile (acolo primești imediat o eroare), ci parametrii inventați ai unor funcții reale, sau afirmații false despre cum se comportă o bibliotecă. Când nu ești sigur, verifici în documentația oficială a bibliotecii, pentru versiunea ta.
De ce sună sigur pe el chiar când greșește
Tonul răspunsului e tot text prezis. Modelul a văzut nenumărate explicații scrise de oameni siguri pe ei (documentații, răspunsuri pe forumuri, tutoriale), așa că și răspunsurile lui sună la fel, indiferent dacă informația e corectă sau nu. Siguranța din glas nu e o măsură a corectitudinii.
Cod scris pentru o versiune veche a unei biblioteci, care la tine dă erori la import.
Un parametru care „ar avea sens” la o funcție reală, dar nu există.
O cauză care sună logic pentru o eroare, dar nu e cea reală.
Greșeli frecvente
- Presupui că modelul îți vede proiectul: într-un chat simplu vede doar ce ai lipit.
- Nu spui versiunile: primești sfaturi pentru altă versiune de bibliotecă.
- Lipești doar ultima linie a erorii: fără traceback, modelul ghicește unde a apărut.
- Iei tonul sigur drept dovadă: verifici, nu crezi pe cuvânt.
- Continui la infinit aceeași conversație: regulile de la început se pierd; pornește una nouă cu un rezumat.
În exercițiu ceri explicația unei erori de import reale, dându-i modelului exact informațiile care lipsesc de pe masă.
Aplicația Flask a lui Andrei nu mai pornește după o instalare de pachete. În editor ai eroarea și notițele lui cu versiunile. Scrie deasupra un prompt care cere explicația erorii și reparația: spune versiunea Python și versiunile bibliotecilor, lipește eroarea între delimitatori și cere-i asistentului să spună explicit când nu e sigur.
- Cere explicația erorii (și cum o repari).
- Spune versiunea Python (din notițe).
- Spune versiunea Flask și/sau Werkzeug (din notițe).
- Pune traceback-ul între """ sau trei backticks.
- Cere-i să spună dacă nu e sigur, în loc să inventeze.
Soluția exercițiului
Te rog să-mi explici eroarea de mai jos și cum o repar.
Folosesc Python 3.12.4, Flask 2.2.2 și Werkzeug 3.0.1, într-un mediu virtual (.venv) pe Windows.
Eroarea apare la pornirea aplicației, chiar la primul import din app.py.
Dacă nu ești sigur de ceva (de exemplu ce versiuni sunt compatibile), spune explicit că nu ești sigur, nu inventa.
"""
Traceback (most recent call last):
File "C:\proiecte\coletexpres\app.py", line 1, in <module>
from flask import Flask, jsonify
File "C:\proiecte\coletexpres\.venv\Lib\site-packages\flask\__init__.py", line 5, in <module>
from .app import Flask as Flask
File "C:\proiecte\coletexpres\.venv\Lib\site-packages\flask\app.py", line 28, in <module>
from werkzeug.urls import url_quote
ImportError: cannot import name 'url_quote' from 'werkzeug.urls'
""" 