...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

NotFittedError: Vocabulary not fitted or provided

Pe scurt

Ai apelat `transform` (sau `get_feature_names_out`) pe un `CountVectorizer` care încă nu a învățat vocabularul. Fă întâi `fit` sau `fit_transform` pe textele de antrenare, apoi `transform` pe cele noi, cu același obiect.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

CountVectorizer transformă textele în numere în doi pași: la fit învață vocabularul (lista de cuvinte și poziția fiecăruia), iar la transform numără cuvintele din fiecare text după acel vocabular. Fără fit, nu știe ce coloane să facă, așa că aruncă NotFittedError cu acest mesaj. Excepția e cea folosită și pentru modele neantrenate, dar textul e specific vectorizatorilor (TfidfVectorizer spune The TF-IDF vectorizer is not fitted).

Cauze frecvente: ai creat un vectorizator nou pentru datele de test în loc să îl refolosești pe cel antrenat; ai antrenat pipeline-ul, dar apelezi transform pe un vectorizator separat, care nu a fost niciodată antrenat; sau ai pierdut obiectul antrenat la reîncărcarea modelului și ai salvat doar clasificatorul.

De ce apare: cauzele frecvente

1Vectorizator nou pentru test

Greșit
PYTHON
vec = CountVectorizer()
X_train = vec.fit_transform(texte_train)
X_test = CountVectorizer().transform(texte_test)
Corect
PYTHON
vec = CountVectorizer()
X_train = vec.fit_transform(texte_train)
X_test = vec.transform(texte_test)

Testul trebuie transformat cu vocabularul învățat pe train, deci cu același obiect.

2transform fără fit

Greșit
PYTHON
vec = CountVectorizer()
X = vec.transform(texte)
Corect
PYTHON
vec = CountVectorizer()
X = vec.fit_transform(texte)

fit_transform învață vocabularul și transformă textele în același pas.

3Doar clasificatorul salvat

Greșit
PYTHON
joblib.dump(clf, "model.joblib")
# la predictie: CountVectorizer().transform(texte)
Corect
PYTHON
pipe = make_pipeline(CountVectorizer(), MultinomialNB()).fit(texte, y)
joblib.dump(pipe, "model.joblib")

Un pipeline salvat păstrează și vocabularul, și modelul, deci predicția nu mai are nevoie de un vectorizator separat.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă NotFittedError: Vocabulary not fitted or provided, pentru că mesajele noi sunt transformate cu un CountVectorizer nou, neantrenat. Transformă-le cu vectorizatorul vec, cel antrenat pe mesajele de train, ca programul să afișeze predicțiile.

Codul care dă eroarea
PYTHON
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

mesaje = ["oferta gratuita azi", "castiga bani gratuit", "ne vedem la sedinta", "raportul e gata"]
y = [1, 1, 0, 0]  # 1 = spam

vec = CountVectorizer()
X = vec.fit_transform(mesaje)
clf = MultinomialNB().fit(X, y)

noi = ["oferta gratuita", "sedinta de maine"]
X_noi = CountVectorizer().transform(noi)
print("Spam:", clf.predict(X_noi).tolist())
După reparație, programul afișează
Spam: [1, 0]
Indiciu

Înlocuiește CountVectorizer().transform(noi) cu vec.transform(noi).

Alte forme ale mesajului

  • sklearn.exceptions.NotFittedError: Vocabulary not fitted or provided
  • NotFittedError: The TF-IDF vectorizer is not fitted

Cum o eviți pe viitor

Pune vectorizatorul și modelul în același Pipeline: fit pe train antrenează ambele, iar predict pe test le aplică pe amândouă în ordine, fără să mai poți încurca obiectele. Salvează tot pipeline-ul, nu doar modelul. Dacă lucrezi fără pipeline, numește clar obiectul antrenat (vec) și nu crea altul nou după antrenare.

Întrebări frecvente

De ce nu fac fit și pe test?

Pentru că vocabularul de pe test ar fi altul, cu alte coloane, în altă ordine, iar modelul antrenat nu le-ar înțelege. În plus, ai folosi informație din test la antrenare.

Ce înseamnă „or provided”?

Că poți și să dai vocabularul de mână, cu CountVectorizer(vocabulary=[...]). Atunci transform merge fără fit, pentru că vocabularul e deja cunoscut.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.