ValueError: After pruning, no terms remain. Try a lower min_df or a higher max_df.
CountVectorizer sau TfidfVectorizer a eliminat toate cuvintele: niciun cuvânt nu apare în suficiente documente pentru min_df, sau toate apar în prea multe pentru max_df. Coboară min_df (de exemplu la 2 sau 1) ori ridică max_df.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
După ce împarte textele în cuvinte, vectorizatorul aplică două filtre. min_df elimină cuvintele rare: cu min_df=3, un cuvânt trebuie să apară în cel puțin 3 documente; cu min_df=0.1, în cel puțin 10% dintre ele. max_df elimină cuvintele prea comune: cu max_df=0.5, cele care apar în mai mult de jumătate din documente. „Pruning” e tocmai această tăiere. Dacă după ea nu rămâne niciun cuvânt, nu există nicio coloană, deci primești eroarea.
Se întâmplă cel mai des pe date mici (exemple, teste, un lot mic dintr-un set mare) cu setări gândite pentru mii de documente. Apare și când textele sunt foarte scurte și variate. Spre deosebire de „empty vocabulary”, aici cuvintele au existat, dar filtrele le-au eliminat pe toate.
De ce apare: cauzele frecvente
1min_df prea mare pentru câte documente ai
CountVectorizer(min_df=5).fit(recenzii) # 6 recenzii scurteCountVectorizer(min_df=2).fit(recenzii)Pe 6 documente, puține cuvinte apar în 5. Cu min_df=2 rămân cuvintele care se repetă măcar o dată.
2max_df prea mic
TfidfVectorizer(max_df=0.1).fit(texte)TfidfVectorizer(max_df=0.9).fit(texte)Cu max_df=0.1, orice cuvânt prezent în mai mult de 10% din texte dispare; pe date mici, asta înseamnă aproape tot.
3Setările nu se potrivesc cu fracțiile
CountVectorizer(min_df=0.8, max_df=0.9)CountVectorizer(min_df=0.05, max_df=0.9)min_df=0.8 cere ca un cuvânt să apară în 80% din documente, ceea ce se întâmplă rar.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: After pruning, no terms remain, pentru că min_df=4 cere ca fiecare cuvânt să apară în cel puțin 4 dintre cele 5 recenzii. Coboară pragul la 2 documente, ca programul să afișeze cuvintele rămase.
from sklearn.feature_extraction.text import CountVectorizer
recenzii = [
"livrare rapida produs bun",
"produs stricat livrare lenta",
"pret bun calitate buna",
"livrare rapida pret mic",
"calitate slaba pret mare",
]
vec = CountVectorizer(min_df=4)
vec.fit(recenzii)
print("Cuvinte:", [str(c) for c in vec.get_feature_names_out()])Cuvinte: ['bun', 'calitate', 'livrare', 'pret', 'produs', 'rapida']
Indiciu
Folosește CountVectorizer(min_df=2).
Reparația
from sklearn.feature_extraction.text import CountVectorizer
recenzii = [
"livrare rapida produs bun",
"produs stricat livrare lenta",
"pret bun calitate buna",
"livrare rapida pret mic",
"calitate slaba pret mare",
]
vec = CountVectorizer(min_df=2)
vec.fit(recenzii)
print("Cuvinte:", [str(c) for c in vec.get_feature_names_out()])De ce merge
Cu min_df=4 nu rămânea niciun cuvânt: cel mai frecvent, „livrare” sau „pret”, apare doar în 3 recenzii. Cu min_df=2 rămân cuvintele prezente în cel puțin două recenzii, iar cele care apar o singură dată („stricat”, „slaba”, „mic”) sunt eliminate.
Alte forme ale mesajului
ValueError: After pruning, no terms remain. Try a lower min_df or a higher max_df
Cum o eviți pe viitor
Alege min_df și max_df după numărul de documente: pe date mici, min_df=1 sau 2. Când pui vectorizatorul într-un GridSearchCV sau în validare încrucișată, ține minte că fiecare parte de antrenare are mai puține documente decât tot setul. Verifică vocabularul după fit cu len(vec.vocabulary_), ca să vezi câte cuvinte au rămas.
Întrebări frecvente
Care e diferența față de „empty vocabulary”?
„Empty vocabulary” înseamnă că nu s-a găsit niciun cuvânt (texte goale sau doar cuvinte de legătură). „After pruning” înseamnă că s-au găsit cuvinte, dar filtrele min_df / max_df le-au eliminat.
Un număr întreg și o fracție înseamnă același lucru la min_df?
Nu. Un întreg (2) e un număr de documente, o fracție (0.2) e o proporție din documente. min_df=1 și min_df=1.0 sunt foarte diferite.
Erori înrudite
ValueError: empty vocabulary; perhaps the documents only contain stop words CountVectorizer sau TfidfVectorizer n-a găsit niciun cuvânt în texte: toate au fost goale, eliminate ca stop words sau prea scurte (implicit, un cuvânt are minimum 2 caractere). Afișează textele exact cum ajung la vectorizer și verifică curățarea, stop_words și token_pattern. ValueError: max_df corresponds to < documents than min_df Setările min_df și max_df ale vectorizatorului se contrazic: după ce le transformă în număr de documente, max_df e mai mic decât min_df, deci niciun cuvânt nu le poate respecta pe amândouă. De obicei min_df e un întreg prea mare pentru câte documente ai. Coboară min_df sau ridică max_df. ValueError: np.nan is an invalid document, expected byte or unicode string. Coloana de text dată lui CountVectorizer sau TfidfVectorizer are valori lipsă (NaN). Vectorizerul acceptă doar texte. Completează lipsurile cu text gol, df["text"].fillna(""), sau elimină rândurile fără text înainte de fit. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
