Un utilizator se plânge că asistentul vostru greșește când îl întrebi câte litere „r” are un cuvânt sau când îi ceri să scrie un cuvânt de la coadă la cap. De ce se întâmplă asta?
Răspuns scurt: Modelul nu vede litere, ci tokeni: bucăți de cuvinte din vocabularul tokenizatorului. Sarcinile la nivel de caracter îl obligă să ghicească ortografia unor unități pe care nu le vede direct, așa că greșește des.
Înainte să ajungă la model, textul este împărțit de un tokenizator în tokeni: fragmente frecvente de text, de obicei bucăți de cuvinte, cuvinte întregi sau semne de punctuație. Modelul primește doar o listă de numere (id-urile tokenilor) și generează tot tokeni. Un cuvânt ca „programatorilor” poate fi 3–5 tokeni, iar împărțirea nu coincide cu silabele sau cu literele.
Pentru o întrebare de tipul „câte litere r are cuvântul?”, modelul trebuie să știe din antrenare cum se scrie fiecare token, literă cu literă. Uneori știe, alteori nu, iar la cuvinte rare sau în română (unde diacriticele pot fi tokeni separați) greșește mai des.
Consecința practică pentru o aplicație: nu delegi modelului operații pe care codul le face exact și gratuit.
cuvant = "programatorilor"
print(cuvant.count("r")) # 4
print(cuvant[::-1]) # inversarea, exactăAcelași principiu se aplică la numărarea cuvintelor, sortare, calcule cu multe cifre sau verificarea unui format. Dacă aplicația are nevoie de așa ceva, fie faci operația în cod înainte sau după apel, fie îi dai modelului un tool care o execută. Modelul e bun la înțeles și formulat text, nu la manipulat caractere.
Ce urmărește intervievatorul: Verifică dacă înțelegi tokenizarea ca pe un lucru cu efecte practice, nu doar ca pe o definiție. Greșeala tipică este să spui că modelul „e prost la litere” fără să explici de ce și fără soluția din cod.
