...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

ValueError: max_df corresponds to < documents than min_df

Pe scurt

Setările min_df și max_df ale vectorizatorului se contrazic: după ce le transformă în număr de documente, max_df e mai mic decât min_df, deci niciun cuvânt nu le poate respecta pe amândouă. De obicei min_df e un întreg prea mare pentru câte documente ai. Coboară min_df sau ridică max_df.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

min_df și max_df pot fi întregi (număr de documente) sau fracții (proporție din documente). La fit, vectorizatorul le transformă pe amândouă în număr de documente: cu 4 documente, max_df=0.9 devine 3,6, iar min_df=5 rămâne 5. Un cuvânt ar trebui să apară în cel puțin 5 documente și în cel mult 3,6, ceea ce e imposibil, așa că primești eroarea înainte de orice filtrare.

Cazuri tipice: min_df întreg ales pentru un set mare (de exemplu 5 sau 10), folosit pe un set mic sau pe o parte de validare încrucișată; confuzie între întregi și fracții (max_df=1 înseamnă un singur document, nu 100%); valori inversate.

Verifică numărul de documente cu len(texte) și calculează ce înseamnă fiecare setare.

De ce apare: cauzele frecvente

1min_df întreg mai mare decât setul

Greșit
PYTHON
CountVectorizer(min_df=5).fit(texte)  # 4 texte
Corect
PYTHON
CountVectorizer(min_df=2).fit(texte)

Cu 4 documente, min_df trebuie să fie cel mult 4, ca să existe vreun cuvânt care să-l respecte.

2max_df=1 crezut 100%

Greșit
PYTHON
TfidfVectorizer(min_df=2, max_df=1)
Corect
PYTHON
TfidfVectorizer(min_df=2, max_df=1.0)

1 (întreg) înseamnă un document, 1.0 (fracție) înseamnă toate documentele.

3Valori inversate

Greșit
PYTHON
CountVectorizer(min_df=0.8, max_df=0.2)
Corect
PYTHON
CountVectorizer(min_df=0.2, max_df=0.8)

min_df este pragul de jos, max_df cel de sus; jos trebuie să fie mai mic decât sus.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: max_df corresponds to < documents than min_df, pentru că min_df=5 cere 5 documente, dar setul are doar 4. Păstrează cuvintele care apar în cel puțin 2 documente, ca programul să afișeze vocabularul.

Codul care dă eroarea
PYTHON
from sklearn.feature_extraction.text import TfidfVectorizer

mesaje = [
    "oferta speciala azi",
    "intalnire azi la birou",
    "oferta limitata reducere",
    "raport birou trimis",
]

vec = TfidfVectorizer(min_df=5, max_df=0.9)
vec.fit(mesaje)
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])
După reparație, programul afișează
Vocabular: ['azi', 'birou', 'oferta']
Indiciu

Folosește min_df=2 și lasă max_df=0.9.

Alte forme ale mesajului

  • ValueError: max_df corresponds to < documents than min_df.

Cum o eviți pe viitor

Preferă fracțiile pentru max_df (de exemplu 0.9) și întregi mici pentru min_df (1, 2, 3), ca setările să rămână valide pe seturi de mărimi diferite. Scrie mereu 1.0 cu punct când vrei „toate documentele”. Testează vectorizatorul pe cel mai mic set pe care îl va primi, de exemplu pe o parte din validarea încrucișată.

Întrebări frecvente

De ce primesc eroarea doar în GridSearchCV?

Pentru că fiecare parte de antrenare are mai puține documente decât tot setul. Un min_df întreg care merge pe tot setul poate fi prea mare pentru o parte.

Ce valori implicite au min_df și max_df?

min_df=1 (orice cuvânt care apare măcar o dată) și max_df=1.0 (fără limită de sus).

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.