...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

ValueError: After pruning, no terms remain. Try a lower min_df or a higher max_df.

Pe scurt

CountVectorizer sau TfidfVectorizer a eliminat toate cuvintele: niciun cuvânt nu apare în suficiente documente pentru min_df, sau toate apar în prea multe pentru max_df. Coboară min_df (de exemplu la 2 sau 1) ori ridică max_df.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

După ce împarte textele în cuvinte, vectorizatorul aplică două filtre. min_df elimină cuvintele rare: cu min_df=3, un cuvânt trebuie să apară în cel puțin 3 documente; cu min_df=0.1, în cel puțin 10% dintre ele. max_df elimină cuvintele prea comune: cu max_df=0.5, cele care apar în mai mult de jumătate din documente. „Pruning” e tocmai această tăiere. Dacă după ea nu rămâne niciun cuvânt, nu există nicio coloană, deci primești eroarea.

Se întâmplă cel mai des pe date mici (exemple, teste, un lot mic dintr-un set mare) cu setări gândite pentru mii de documente. Apare și când textele sunt foarte scurte și variate. Spre deosebire de „empty vocabulary”, aici cuvintele au existat, dar filtrele le-au eliminat pe toate.

De ce apare: cauzele frecvente

1min_df prea mare pentru câte documente ai

Greșit
PYTHON
CountVectorizer(min_df=5).fit(recenzii)  # 6 recenzii scurte
Corect
PYTHON
CountVectorizer(min_df=2).fit(recenzii)

Pe 6 documente, puține cuvinte apar în 5. Cu min_df=2 rămân cuvintele care se repetă măcar o dată.

2max_df prea mic

Greșit
PYTHON
TfidfVectorizer(max_df=0.1).fit(texte)
Corect
PYTHON
TfidfVectorizer(max_df=0.9).fit(texte)

Cu max_df=0.1, orice cuvânt prezent în mai mult de 10% din texte dispare; pe date mici, asta înseamnă aproape tot.

3Setările nu se potrivesc cu fracțiile

Greșit
PYTHON
CountVectorizer(min_df=0.8, max_df=0.9)
Corect
PYTHON
CountVectorizer(min_df=0.05, max_df=0.9)

min_df=0.8 cere ca un cuvânt să apară în 80% din documente, ceea ce se întâmplă rar.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: After pruning, no terms remain, pentru că min_df=4 cere ca fiecare cuvânt să apară în cel puțin 4 dintre cele 5 recenzii. Coboară pragul la 2 documente, ca programul să afișeze cuvintele rămase.

Codul care dă eroarea
PYTHON
from sklearn.feature_extraction.text import CountVectorizer

recenzii = [
    "livrare rapida produs bun",
    "produs stricat livrare lenta",
    "pret bun calitate buna",
    "livrare rapida pret mic",
    "calitate slaba pret mare",
]

vec = CountVectorizer(min_df=4)
vec.fit(recenzii)
print("Cuvinte:", [str(c) for c in vec.get_feature_names_out()])
După reparație, programul afișează
Cuvinte: ['bun', 'calitate', 'livrare', 'pret', 'produs', 'rapida']
Indiciu

Folosește CountVectorizer(min_df=2).

Alte forme ale mesajului

  • ValueError: After pruning, no terms remain. Try a lower min_df or a higher max_df

Cum o eviți pe viitor

Alege min_df și max_df după numărul de documente: pe date mici, min_df=1 sau 2. Când pui vectorizatorul într-un GridSearchCV sau în validare încrucișată, ține minte că fiecare parte de antrenare are mai puține documente decât tot setul. Verifică vocabularul după fit cu len(vec.vocabulary_), ca să vezi câte cuvinte au rămas.

Întrebări frecvente

Care e diferența față de „empty vocabulary”?

„Empty vocabulary” înseamnă că nu s-a găsit niciun cuvânt (texte goale sau doar cuvinte de legătură). „After pruning” înseamnă că s-au găsit cuvinte, dar filtrele min_df / max_df le-au eliminat.

Un număr întreg și o fracție înseamnă același lucru la min_df?

Nu. Un întreg (2) e un număr de documente, o fracție (0.2) e o proporție din documente. min_df=1 și min_df=1.0 sunt foarte diferite.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.