NotFittedError: Vocabulary not fitted or provided
Ai apelat `transform` (sau `get_feature_names_out`) pe un `CountVectorizer` care încă nu a învățat vocabularul. Fă întâi `fit` sau `fit_transform` pe textele de antrenare, apoi `transform` pe cele noi, cu același obiect.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
CountVectorizer transformă textele în numere în doi pași: la fit învață vocabularul (lista de cuvinte și poziția fiecăruia), iar la transform numără cuvintele din fiecare text după acel vocabular. Fără fit, nu știe ce coloane să facă, așa că aruncă NotFittedError cu acest mesaj. Excepția e cea folosită și pentru modele neantrenate, dar textul e specific vectorizatorilor (TfidfVectorizer spune The TF-IDF vectorizer is not fitted).
Cauze frecvente: ai creat un vectorizator nou pentru datele de test în loc să îl refolosești pe cel antrenat; ai antrenat pipeline-ul, dar apelezi transform pe un vectorizator separat, care nu a fost niciodată antrenat; sau ai pierdut obiectul antrenat la reîncărcarea modelului și ai salvat doar clasificatorul.
De ce apare: cauzele frecvente
1Vectorizator nou pentru test
vec = CountVectorizer()
X_train = vec.fit_transform(texte_train)
X_test = CountVectorizer().transform(texte_test)vec = CountVectorizer()
X_train = vec.fit_transform(texte_train)
X_test = vec.transform(texte_test)Testul trebuie transformat cu vocabularul învățat pe train, deci cu același obiect.
2transform fără fit
vec = CountVectorizer()
X = vec.transform(texte)vec = CountVectorizer()
X = vec.fit_transform(texte)fit_transform învață vocabularul și transformă textele în același pas.
3Doar clasificatorul salvat
joblib.dump(clf, "model.joblib")
# la predictie: CountVectorizer().transform(texte)pipe = make_pipeline(CountVectorizer(), MultinomialNB()).fit(texte, y)
joblib.dump(pipe, "model.joblib")Un pipeline salvat păstrează și vocabularul, și modelul, deci predicția nu mai are nevoie de un vectorizator separat.
Repară eroarea, direct în pagină
Codul de mai jos dă NotFittedError: Vocabulary not fitted or provided, pentru că mesajele noi sunt transformate cu un CountVectorizer nou, neantrenat. Transformă-le cu vectorizatorul vec, cel antrenat pe mesajele de train, ca programul să afișeze predicțiile.
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
mesaje = ["oferta gratuita azi", "castiga bani gratuit", "ne vedem la sedinta", "raportul e gata"]
y = [1, 1, 0, 0] # 1 = spam
vec = CountVectorizer()
X = vec.fit_transform(mesaje)
clf = MultinomialNB().fit(X, y)
noi = ["oferta gratuita", "sedinta de maine"]
X_noi = CountVectorizer().transform(noi)
print("Spam:", clf.predict(X_noi).tolist())Spam: [1, 0]
Indiciu
Înlocuiește CountVectorizer().transform(noi) cu vec.transform(noi).
Reparația
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
mesaje = ["oferta gratuita azi", "castiga bani gratuit", "ne vedem la sedinta", "raportul e gata"]
y = [1, 1, 0, 0] # 1 = spam
vec = CountVectorizer()
X = vec.fit_transform(mesaje)
clf = MultinomialNB().fit(X, y)
noi = ["oferta gratuita", "sedinta de maine"]
X_noi = vec.transform(noi)
print("Spam:", clf.predict(X_noi).tolist())De ce merge
vec a învățat vocabularul din cele patru mesaje de antrenare, deci știe ce coloană are fiecare cuvânt. vec.transform(noi) numără cuvintele din mesajele noi după același vocabular, iar cuvintele necunoscute („maine”) sunt ignorate. Clasificatorul primește coloanele pe care le cunoaște și recunoaște oferta ca spam.
Alte forme ale mesajului
sklearn.exceptions.NotFittedError: Vocabulary not fitted or providedNotFittedError: The TF-IDF vectorizer is not fitted
Cum o eviți pe viitor
Pune vectorizatorul și modelul în același Pipeline: fit pe train antrenează ambele, iar predict pe test le aplică pe amândouă în ordine, fără să mai poți încurca obiectele. Salvează tot pipeline-ul, nu doar modelul. Dacă lucrezi fără pipeline, numește clar obiectul antrenat (vec) și nu crea altul nou după antrenare.
Întrebări frecvente
De ce nu fac fit și pe test?
Pentru că vocabularul de pe test ar fi altul, cu alte coloane, în altă ordine, iar modelul antrenat nu le-ar înțelege. În plus, ai folosi informație din test la antrenare.
Ce înseamnă „or provided”?
Că poți și să dai vocabularul de mână, cu CountVectorizer(vocabulary=[...]). Atunci transform merge fără fit, pentru că vocabularul e deja cunoscut.
Erori înrudite
NotFittedError: This LinearRegression instance is not fitted yet. Call 'fit' with appropriate arguments before using this estimator. Ai apelat predict, transform sau score pe un model (sau scaler) care încă n-a fost antrenat. Apelează întâi fit(X, y) pe același obiect, apoi predict. Verifică să nu fi creat un obiect nou între timp sau să fi antrenat altă variabilă. ValueError: Duplicate term in vocabulary: 'oferta' Lista dată în `CountVectorizer(vocabulary=[...])` sau `TfidfVectorizer(vocabulary=[...])` conține același cuvânt de două ori. Fiecare cuvânt din vocabular trebuie să aibă o singură coloană. Elimină dublurile, păstrând ordinea, de exemplu cu `list(dict.fromkeys(cuvinte))`. ValueError: X has 3 features, but LinearRegression is expecting 2 features as input. Datele date la predict sau transform au alt număr de coloane decât cele de la fit (aici 3 în loc de 2). Datele noi trebuie să aibă exact aceleași caracteristici, în aceeași ordine, și să treacă prin aceleași transformări ca datele de antrenare. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
