...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

UserWarning: The parameter 'token_pattern' will not be used since 'tokenizer' is not None'

Pe scurt

Ai dat vectorizatorului propriul `tokenizer`, deci `token_pattern` (expresia regulată implicită pentru cuvinte) e ignorat, iar scikit-learn te avertizează. Dacă vrei tokenizatorul tău, adaugă `token_pattern=None`; dacă vrei doar altă regulă pentru cuvinte, renunță la `tokenizer` și schimbă `token_pattern`.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

CountVectorizer și TfidfVectorizer împart textul în cuvinte într-unul din două feluri: cu token_pattern, o expresie regulată (implicit r"(?u)\b\w\w+\b", adică cuvinte de cel puțin două caractere), sau cu tokenizer, o funcție scrisă de tine. Dacă dai tokenizer, expresia nu mai e folosită. Pentru că token_pattern are o valoare implicită, scikit-learn nu știe dacă ai uitat de ea sau nu-ți pasă, și te avertizează.

Avertismentul nu oprește programul, dar apare la fiecare fit (și de multe ori în validarea încrucișată), iar în medii unde avertismentele devin erori (teste, warnings.simplefilter("error")) oprește execuția. Ghilimeaua în plus de la sfârșitul mesajului este chiar în textul din scikit-learn.

De ce apare: cauzele frecvente

1tokenizer propriu fără token_pattern=None

Greșit
PYTHON
CountVectorizer(tokenizer=str.split)
Corect
PYTHON
CountVectorizer(tokenizer=str.split, token_pattern=None)

token_pattern=None spune explicit că nu vrei expresia regulată, deci nu mai e nimic de avertizat.

2tokenizer folosit doar pentru cuvinte de o literă

Greșit
PYTHON
TfidfVectorizer(tokenizer=lambda t: re.findall(r"\w+", t))
Corect
PYTHON
TfidfVectorizer(token_pattern=r"(?u)\b\w+\b")

Dacă vrei doar altă regulă pentru cuvinte, e mai simplu să schimbi token_pattern, iar vectorizatorul rămâne ușor de salvat (fără lambda).

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos rulează cu avertismentele transformate în erori și dă UserWarning: The parameter 'token_pattern' will not be used since 'tokenizer' is not None'. Tokenizatorul propriu e intenționat, deci spune vectorizatorului că nu vrei expresia regulată, ca programul să afișeze vocabularul.

Codul care dă eroarea
PYTHON
import warnings
from sklearn.feature_extraction.text import CountVectorizer

warnings.simplefilter("error", UserWarning)

def imparte(text):
    return text.lower().split()

vec = CountVectorizer(tokenizer=imparte)
vec.fit(["Livrare in 2 zile", "Plata cu cardul in rate"])
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])
După reparație, programul afișează
Vocabular: ['2', 'cardul', 'cu', 'in', 'livrare', 'plata', 'rate', 'zile']
Indiciu

Adaugă token_pattern=None în CountVectorizer(...).

Alte forme ale mesajului

  • UserWarning: The parameter 'token_pattern' will not be used since 'tokenizer' is not None'

Cum o eviți pe viitor

Alege o singură metodă de împărțire a textului: fie token_pattern (suficient în majoritatea cazurilor), fie tokenizer împreună cu token_pattern=None. Preferă funcții definite cu def în loc de lambda pentru tokenizatoare, ca pipeline-ul să poată fi salvat cu joblib. Testează tokenizarea separat, cu vec.build_analyzer()("text de test"), ca să vezi exact ce cuvinte ies.

Întrebări frecvente

E periculos să ignor avertismentul?

Rezultatul e corect: tokenizatorul tău e folosit. Avertismentul te anunță doar că token_pattern nu are efect. E mai curat să îl elimini cu token_pattern=None decât să ascunzi avertismentele.

De ce nu apar cuvintele de o literă în vocabular?

Pentru că token_pattern implicit cere cel puțin două caractere (\w\w+). Ca să le păstrezi, folosește token_pattern=r"(?u)\b\w+\b".

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.