...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

UserWarning: Your stop_words may be inconsistent with your preprocessing. Tokenizing the stop words generated tokens ['nu'] not in stop_words.

Pe scurt

Lista ta de cuvinte de eliminat (stop_words) conține termeni pe care vectorizatorul îi taie altfel, de exemplu „nu-i” devine „nu”, iar „nu” nu e în listă, deci rămâne în vocabular. Scrie stop words exact cum arată după tokenizare: litere mici, fără cratimă, minimum două litere.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Vectorizatorul elimină stop words după ce a împărțit textul în cuvinte (tokeni). Implicit, tokenizarea folosește token_pattern=r"(?u)\b\w\w+\b": păstrează doar secvențe de cel puțin două litere sau cifre și taie la cratimă, apostrof sau punct. Dacă lista ta conține „nu-i” sau „l-am”, ele nu vor apărea niciodată ca token, deci nu vor fi eliminate.

scikit-learn verifică asta: tokenizează și lista de stop words, iar dacă din ea ies tokeni care nu sunt în listă (aici „nu”), te avertizează. Concret: crezi că ai eliminat un cuvânt, dar el rămâne în vocabular și influențează modelul.

Avertismentul apare și dacă lista are litere mari, în timp ce lowercase=True coboară textul la litere mici.

De ce apare: cauzele frecvente

1Cuvinte cu cratimă în listă

Greșit
PYTHON
CountVectorizer(stop_words=["nu-i", "si"])
Corect
PYTHON
CountVectorizer(stop_words=["nu", "si"])

Tokenizarea taie „nu-i” în „nu” (iar „i” are o singură literă și e ignorat), deci lista trebuie să conțină „nu”.

2Litere mari în listă

Greșit
PYTHON
CountVectorizer(stop_words=["Si", "Sau"])
Corect
PYTHON
CountVectorizer(stop_words=["si", "sau"])

Textul e trecut la litere mici înainte de comparație, deci și lista trebuie scrisă cu litere mici.

3Lista construită din text brut

Greșit
PYTHON
stop = ["de", "la", "într-un"]
Corect
PYTHON
analizor = CountVectorizer().build_analyzer()
stop = sorted({t for cuv in ["de", "la", "într-un"] for t in analizor(cuv)})

Trecând lista prin același analizor ca textele, obții exact tokenii pe care vectorizatorul îi va compara.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă UserWarning: Your stop_words may be inconsistent with your preprocessing, transformat în eroare, pentru că „nu-i” devine la tokenizare „nu”. Scrie în listă tokenii așa cum îi produce vectorizatorul, ca programul să afișeze vocabularul fără „nu” și „si”.

Codul care dă eroarea
PYTHON
import warnings
from sklearn.feature_extraction.text import CountVectorizer

recenzii = ["nu-i bun si nu-i ieftin", "bun si ieftin", "livrare rapida si produs bun"]

vec = CountVectorizer(stop_words=["nu-i", "si"])
with warnings.catch_warnings(record=True) as avertismente:
    warnings.simplefilter("always")
    vec.fit(recenzii)
for a in avertismente:  # orice avertisment opreste programul
    raise a.category(str(a.message))
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])
După reparație, programul afișează
Vocabular: ['bun', 'ieftin', 'livrare', 'produs', 'rapida']
Indiciu

Folosește stop_words=["nu", "si"].

Alte forme ale mesajului

  • UserWarning: Your stop_words may be inconsistent with your preprocessing. Tokenizing the stop words generated tokens ['am', 'nu'] not in stop_words.

Cum o eviți pe viitor

Scrie lista de stop words cu litere mici și fără semne de punctuație. Dacă o iei dintr-o sursă externă, trece-o prin vec.build_analyzer() ca s-o aduci la aceeași formă ca textul. După fit, verifică vocabularul (get_feature_names_out()) și caută cuvintele pe care voiai să le elimini.

Întrebări frecvente

E grav dacă ignor avertismentul?

Modelul se antrenează, dar unele cuvinte pe care voiai să le elimini rămân. La analiza sentimentelor, de exemplu, „nu” contează mult, deci e bine să știi exact dacă e în vocabular.

Există o listă de stop words pentru română în scikit-learn?

Nu, scikit-learn are doar stop_words="english". Pentru română îți dai propria listă, de exemplu dintr-o bibliotecă de procesare a limbajului.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.