UserWarning: Your stop_words may be inconsistent with your preprocessing. Tokenizing the stop words generated tokens ['nu'] not in stop_words.
Lista ta de cuvinte de eliminat (stop_words) conține termeni pe care vectorizatorul îi taie altfel, de exemplu „nu-i” devine „nu”, iar „nu” nu e în listă, deci rămâne în vocabular. Scrie stop words exact cum arată după tokenizare: litere mici, fără cratimă, minimum două litere.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Vectorizatorul elimină stop words după ce a împărțit textul în cuvinte (tokeni). Implicit, tokenizarea folosește token_pattern=r"(?u)\b\w\w+\b": păstrează doar secvențe de cel puțin două litere sau cifre și taie la cratimă, apostrof sau punct. Dacă lista ta conține „nu-i” sau „l-am”, ele nu vor apărea niciodată ca token, deci nu vor fi eliminate.
scikit-learn verifică asta: tokenizează și lista de stop words, iar dacă din ea ies tokeni care nu sunt în listă (aici „nu”), te avertizează. Concret: crezi că ai eliminat un cuvânt, dar el rămâne în vocabular și influențează modelul.
Avertismentul apare și dacă lista are litere mari, în timp ce lowercase=True coboară textul la litere mici.
De ce apare: cauzele frecvente
1Cuvinte cu cratimă în listă
CountVectorizer(stop_words=["nu-i", "si"])CountVectorizer(stop_words=["nu", "si"])Tokenizarea taie „nu-i” în „nu” (iar „i” are o singură literă și e ignorat), deci lista trebuie să conțină „nu”.
2Litere mari în listă
CountVectorizer(stop_words=["Si", "Sau"])CountVectorizer(stop_words=["si", "sau"])Textul e trecut la litere mici înainte de comparație, deci și lista trebuie scrisă cu litere mici.
3Lista construită din text brut
stop = ["de", "la", "într-un"]analizor = CountVectorizer().build_analyzer()
stop = sorted({t for cuv in ["de", "la", "într-un"] for t in analizor(cuv)})Trecând lista prin același analizor ca textele, obții exact tokenii pe care vectorizatorul îi va compara.
Repară eroarea, direct în pagină
Codul de mai jos dă UserWarning: Your stop_words may be inconsistent with your preprocessing, transformat în eroare, pentru că „nu-i” devine la tokenizare „nu”. Scrie în listă tokenii așa cum îi produce vectorizatorul, ca programul să afișeze vocabularul fără „nu” și „si”.
import warnings
from sklearn.feature_extraction.text import CountVectorizer
recenzii = ["nu-i bun si nu-i ieftin", "bun si ieftin", "livrare rapida si produs bun"]
vec = CountVectorizer(stop_words=["nu-i", "si"])
with warnings.catch_warnings(record=True) as avertismente:
warnings.simplefilter("always")
vec.fit(recenzii)
for a in avertismente: # orice avertisment opreste programul
raise a.category(str(a.message))
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])Vocabular: ['bun', 'ieftin', 'livrare', 'produs', 'rapida']
Indiciu
Folosește stop_words=["nu", "si"].
Reparația
import warnings
from sklearn.feature_extraction.text import CountVectorizer
recenzii = ["nu-i bun si nu-i ieftin", "bun si ieftin", "livrare rapida si produs bun"]
vec = CountVectorizer(stop_words=["nu", "si"])
with warnings.catch_warnings(record=True) as avertismente:
warnings.simplefilter("always")
vec.fit(recenzii)
for a in avertismente: # orice avertisment opreste programul
raise a.category(str(a.message))
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])De ce merge
Tokenizarea implicită taie la cratimă și ignoră secvențele de o singură literă, deci „nu-i” devine doar „nu”. Cu lista scrisă în forma tokenilor, „nu” și „si” sunt eliminate, iar vocabularul păstrează cuvintele cu sens: bun, ieftin, livrare, produs, rapida.
Alte forme ale mesajului
UserWarning: Your stop_words may be inconsistent with your preprocessing. Tokenizing the stop words generated tokens ['am', 'nu'] not in stop_words.
Cum o eviți pe viitor
Scrie lista de stop words cu litere mici și fără semne de punctuație. Dacă o iei dintr-o sursă externă, trece-o prin vec.build_analyzer() ca s-o aduci la aceeași formă ca textul. După fit, verifică vocabularul (get_feature_names_out()) și caută cuvintele pe care voiai să le elimini.
Întrebări frecvente
E grav dacă ignor avertismentul?
Modelul se antrenează, dar unele cuvinte pe care voiai să le elimini rămân. La analiza sentimentelor, de exemplu, „nu” contează mult, deci e bine să știi exact dacă e în vocabular.
Există o listă de stop words pentru română în scikit-learn?
Nu, scikit-learn are doar stop_words="english". Pentru română îți dai propria listă, de exemplu dintr-o bibliotecă de procesare a limbajului.
Erori înrudite
ValueError: empty vocabulary; perhaps the documents only contain stop words CountVectorizer sau TfidfVectorizer n-a găsit niciun cuvânt în texte: toate au fost goale, eliminate ca stop words sau prea scurte (implicit, un cuvânt are minimum 2 caractere). Afișează textele exact cum ajung la vectorizer și verifică curățarea, stop_words și token_pattern. ValueError: After pruning, no terms remain. Try a lower min_df or a higher max_df. CountVectorizer sau TfidfVectorizer a eliminat toate cuvintele: niciun cuvânt nu apare în suficiente documente pentru min_df, sau toate apar în prea multe pentru max_df. Coboară min_df (de exemplu la 2 sau 1) ori ridică max_df. AttributeError: 'list' object has no attribute 'lower' CountVectorizer sau TfidfVectorizer a primit documente care sunt liste de cuvinte (texte deja împărțite în tokeni), dar se aștepta la texte întregi, pe care le transformă singur în litere mici și le împarte. Lipește cuvintele la loc cu " ".join(tokeni) sau dă-i analyzer=lambda doc: doc. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
