UserWarning: The parameter 'token_pattern' will not be used since 'tokenizer' is not None'
Ai dat vectorizatorului propriul `tokenizer`, deci `token_pattern` (expresia regulată implicită pentru cuvinte) e ignorat, iar scikit-learn te avertizează. Dacă vrei tokenizatorul tău, adaugă `token_pattern=None`; dacă vrei doar altă regulă pentru cuvinte, renunță la `tokenizer` și schimbă `token_pattern`.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
CountVectorizer și TfidfVectorizer împart textul în cuvinte într-unul din două feluri: cu token_pattern, o expresie regulată (implicit r"(?u)\b\w\w+\b", adică cuvinte de cel puțin două caractere), sau cu tokenizer, o funcție scrisă de tine. Dacă dai tokenizer, expresia nu mai e folosită. Pentru că token_pattern are o valoare implicită, scikit-learn nu știe dacă ai uitat de ea sau nu-ți pasă, și te avertizează.
Avertismentul nu oprește programul, dar apare la fiecare fit (și de multe ori în validarea încrucișată), iar în medii unde avertismentele devin erori (teste, warnings.simplefilter("error")) oprește execuția. Ghilimeaua în plus de la sfârșitul mesajului este chiar în textul din scikit-learn.
De ce apare: cauzele frecvente
1tokenizer propriu fără token_pattern=None
CountVectorizer(tokenizer=str.split)CountVectorizer(tokenizer=str.split, token_pattern=None)token_pattern=None spune explicit că nu vrei expresia regulată, deci nu mai e nimic de avertizat.
2tokenizer folosit doar pentru cuvinte de o literă
TfidfVectorizer(tokenizer=lambda t: re.findall(r"\w+", t))TfidfVectorizer(token_pattern=r"(?u)\b\w+\b")Dacă vrei doar altă regulă pentru cuvinte, e mai simplu să schimbi token_pattern, iar vectorizatorul rămâne ușor de salvat (fără lambda).
Repară eroarea, direct în pagină
Codul de mai jos rulează cu avertismentele transformate în erori și dă UserWarning: The parameter 'token_pattern' will not be used since 'tokenizer' is not None'. Tokenizatorul propriu e intenționat, deci spune vectorizatorului că nu vrei expresia regulată, ca programul să afișeze vocabularul.
import warnings
from sklearn.feature_extraction.text import CountVectorizer
warnings.simplefilter("error", UserWarning)
def imparte(text):
return text.lower().split()
vec = CountVectorizer(tokenizer=imparte)
vec.fit(["Livrare in 2 zile", "Plata cu cardul in rate"])
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])Vocabular: ['2', 'cardul', 'cu', 'in', 'livrare', 'plata', 'rate', 'zile']
Indiciu
Adaugă token_pattern=None în CountVectorizer(...).
Reparația
import warnings
from sklearn.feature_extraction.text import CountVectorizer
warnings.simplefilter("error", UserWarning)
def imparte(text):
return text.lower().split()
vec = CountVectorizer(tokenizer=imparte, token_pattern=None)
vec.fit(["Livrare in 2 zile", "Plata cu cardul in rate"])
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])De ce merge
Cu token_pattern=None, vectorizatorul știe că împărțirea textului se face doar cu funcția imparte, deci nu mai are de ce să avertizeze. Tokenizatorul tău împarte după spații, așa că păstrează și cuvintele scurte, ca „2”, pe care expresia implicită le-ar fi eliminat.
Alte forme ale mesajului
UserWarning: The parameter 'token_pattern' will not be used since 'tokenizer' is not None'
Cum o eviți pe viitor
Alege o singură metodă de împărțire a textului: fie token_pattern (suficient în majoritatea cazurilor), fie tokenizer împreună cu token_pattern=None. Preferă funcții definite cu def în loc de lambda pentru tokenizatoare, ca pipeline-ul să poată fi salvat cu joblib. Testează tokenizarea separat, cu vec.build_analyzer()("text de test"), ca să vezi exact ce cuvinte ies.
Întrebări frecvente
E periculos să ignor avertismentul?
Rezultatul e corect: tokenizatorul tău e folosit. Avertismentul te anunță doar că token_pattern nu are efect. E mai curat să îl elimini cu token_pattern=None decât să ascunzi avertismentele.
De ce nu apar cuvintele de o literă în vocabular?
Pentru că token_pattern implicit cere cel puțin două caractere (\w\w+). Ca să le păstrezi, folosește token_pattern=r"(?u)\b\w+\b".
Erori înrudite
UserWarning: Your stop_words may be inconsistent with your preprocessing. Tokenizing the stop words generated tokens ['nu'] not in stop_words. Lista ta de cuvinte de eliminat (stop_words) conține termeni pe care vectorizatorul îi taie altfel, de exemplu „nu-i” devine „nu”, iar „nu” nu e în listă, deci rămâne în vocabular. Scrie stop words exact cum arată după tokenizare: litere mici, fără cratimă, minimum două litere. ValueError: Duplicate term in vocabulary: 'oferta' Lista dată în `CountVectorizer(vocabulary=[...])` sau `TfidfVectorizer(vocabulary=[...])` conține același cuvânt de două ori. Fiecare cuvânt din vocabular trebuie să aibă o singură coloană. Elimină dublurile, păstrând ordinea, de exemplu cu `list(dict.fromkeys(cuvinte))`. PicklingError: Can't pickle <function <lambda> at 0x7f3a2c1e5d00>: it's not found as __main__.<lambda> Modelul sau pipeline-ul pe care vrei să-l salvezi cu pickle sau joblib conține o funcție lambda, iar pickle nu poate salva funcții fără nume. Înlocuiește lambda cu o funcție numpy (np.log1p) sau cu o funcție definită cu def într-un modul importabil. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
