ValueError: max_df corresponds to < documents than min_df
Setările min_df și max_df ale vectorizatorului se contrazic: după ce le transformă în număr de documente, max_df e mai mic decât min_df, deci niciun cuvânt nu le poate respecta pe amândouă. De obicei min_df e un întreg prea mare pentru câte documente ai. Coboară min_df sau ridică max_df.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
min_df și max_df pot fi întregi (număr de documente) sau fracții (proporție din documente). La fit, vectorizatorul le transformă pe amândouă în număr de documente: cu 4 documente, max_df=0.9 devine 3,6, iar min_df=5 rămâne 5. Un cuvânt ar trebui să apară în cel puțin 5 documente și în cel mult 3,6, ceea ce e imposibil, așa că primești eroarea înainte de orice filtrare.
Cazuri tipice: min_df întreg ales pentru un set mare (de exemplu 5 sau 10), folosit pe un set mic sau pe o parte de validare încrucișată; confuzie între întregi și fracții (max_df=1 înseamnă un singur document, nu 100%); valori inversate.
Verifică numărul de documente cu len(texte) și calculează ce înseamnă fiecare setare.
De ce apare: cauzele frecvente
1min_df întreg mai mare decât setul
CountVectorizer(min_df=5).fit(texte) # 4 texteCountVectorizer(min_df=2).fit(texte)Cu 4 documente, min_df trebuie să fie cel mult 4, ca să existe vreun cuvânt care să-l respecte.
2max_df=1 crezut 100%
TfidfVectorizer(min_df=2, max_df=1)TfidfVectorizer(min_df=2, max_df=1.0)1 (întreg) înseamnă un document, 1.0 (fracție) înseamnă toate documentele.
3Valori inversate
CountVectorizer(min_df=0.8, max_df=0.2)CountVectorizer(min_df=0.2, max_df=0.8)min_df este pragul de jos, max_df cel de sus; jos trebuie să fie mai mic decât sus.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: max_df corresponds to < documents than min_df, pentru că min_df=5 cere 5 documente, dar setul are doar 4. Păstrează cuvintele care apar în cel puțin 2 documente, ca programul să afișeze vocabularul.
from sklearn.feature_extraction.text import TfidfVectorizer
mesaje = [
"oferta speciala azi",
"intalnire azi la birou",
"oferta limitata reducere",
"raport birou trimis",
]
vec = TfidfVectorizer(min_df=5, max_df=0.9)
vec.fit(mesaje)
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])Vocabular: ['azi', 'birou', 'oferta']
Indiciu
Folosește min_df=2 și lasă max_df=0.9.
Reparația
from sklearn.feature_extraction.text import TfidfVectorizer
mesaje = [
"oferta speciala azi",
"intalnire azi la birou",
"oferta limitata reducere",
"raport birou trimis",
]
vec = TfidfVectorizer(min_df=2, max_df=0.9)
vec.fit(mesaje)
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])De ce merge
Cu 4 mesaje, max_df=0.9 înseamnă cel mult 3,6 documente, iar min_df=2 înseamnă cel puțin 2, deci intervalul are sens. Rămân doar cuvintele care apar în 2 sau 3 mesaje: „azi”, „birou” și „oferta”. Cuvintele care apar o singură dată sunt eliminate.
Alte forme ale mesajului
ValueError: max_df corresponds to < documents than min_df.
Cum o eviți pe viitor
Preferă fracțiile pentru max_df (de exemplu 0.9) și întregi mici pentru min_df (1, 2, 3), ca setările să rămână valide pe seturi de mărimi diferite. Scrie mereu 1.0 cu punct când vrei „toate documentele”. Testează vectorizatorul pe cel mai mic set pe care îl va primi, de exemplu pe o parte din validarea încrucișată.
Întrebări frecvente
De ce primesc eroarea doar în GridSearchCV?
Pentru că fiecare parte de antrenare are mai puține documente decât tot setul. Un min_df întreg care merge pe tot setul poate fi prea mare pentru o parte.
Ce valori implicite au min_df și max_df?
min_df=1 (orice cuvânt care apare măcar o dată) și max_df=1.0 (fără limită de sus).
Erori înrudite
ValueError: After pruning, no terms remain. Try a lower min_df or a higher max_df. CountVectorizer sau TfidfVectorizer a eliminat toate cuvintele: niciun cuvânt nu apare în suficiente documente pentru min_df, sau toate apar în prea multe pentru max_df. Coboară min_df (de exemplu la 2 sau 1) ori ridică max_df. ValueError: empty vocabulary; perhaps the documents only contain stop words CountVectorizer sau TfidfVectorizer n-a găsit niciun cuvânt în texte: toate au fost goale, eliminate ca stop words sau prea scurte (implicit, un cuvânt are minimum 2 caractere). Afișează textele exact cum ajung la vectorizer și verifică curățarea, stop_words și token_pattern. ValueError: Iterable over raw text documents expected, string object received. Ai dat vectorizerului (sau unui Pipeline cu vectorizer) un singur text, ca șir, în loc de o listă de texte. Pune textul într-o listă: vec.transform(["mesajul nou"]) sau pipe.predict(["mesajul nou"]). Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
