...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

ValueError: empty vocabulary; perhaps the documents only contain stop words

Pe scurt

CountVectorizer sau TfidfVectorizer n-a găsit niciun cuvânt în texte: toate au fost goale, eliminate ca stop words sau prea scurte (implicit, un cuvânt are minimum 2 caractere). Afișează textele exact cum ajung la vectorizer și verifică curățarea, stop_words și token_pattern.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

La fit, vectorizerul împarte fiecare text în cuvinte (tokeni), elimină cuvintele de oprire, dacă i-ai cerut, și construiește vocabularul. Dacă la final vocabularul e gol, nu poate crea nicio coloană și se oprește. Mesajul presupune cauza cea mai simplă, „documentele conțin doar stop words”, dar în practică motivele sunt mai variate.

Cele mai dese: o funcție de curățare care, din greșeală, șterge tot textul (o expresie regulată inversată); texte formate doar din cifre sau litere singure, pe care token_pattern implicit ((?u)\b\w\w+\b, cel puțin 2 caractere) le ignoră; stop_words="english" pe mesaje foarte scurte în engleză; o coloană care, după un filtru, conține doar texte goale. Afișează câteva texte imediat înainte de fit și testează CountVectorizer().build_analyzer()("textul tău"), ca să vezi ce tokeni rezultă.

De ce apare: cauzele frecvente

1Curățarea șterge tot textul

Greșit
PYTHON
curat = [re.sub(r"[a-z]", "", t.lower()) for t in texte]  # șterge literele!
CountVectorizer().fit(curat)
Corect
PYTHON
curat = [re.sub(r"[^a-z ]", "", t.lower()) for t in texte]  # păstrează literele
CountVectorizer().fit(curat)

[^a-z ] înseamnă „orice în afară de litere și spațiu”, deci se elimină punctuația și cifrele, iar cuvintele rămân.

2Tokeni de un singur caracter

Greșit
PYTHON
note = ["5", "3", "4", "1"]
CountVectorizer().fit(note)
Corect
PYTHON
note = ["5", "3", "4", "1"]
CountVectorizer(token_pattern=r"(?u)\b\w+\b").fit(note)

Modelul implicit cere cel puțin 2 caractere. \w+ acceptă și tokeni de un caracter.

3Doar cuvinte de oprire

Greșit
PYTHON
CountVectorizer(stop_words="english").fit(["the and", "of the"])
Corect
PYTHON
CountVectorizer().fit(["the and", "of the"])  # sau texte mai bogate

Lista de stop words în engleză elimină toate cuvintele. Pe texte în română, lista engleză oricum nu ajută.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: empty vocabulary; perhaps the documents only contain stop words, pentru că expresia regulată de curățare șterge literele în loc să păstreze doar literele și spațiile. Repar-o, ca programul să afișeze textele curățate și vocabularul.

Codul care dă eroarea
PYTHON
import re
from sklearn.feature_extraction.text import CountVectorizer

texte = ["Livrare RAPIDA!!!", "Produs ok, livrare lenta.", "Rapida si ok :)"]
curat = [re.sub(r"[a-z]", "", t.lower()).strip() for t in texte]

vec = CountVectorizer().fit(curat)
print("Curat:", curat)
print("Vocabular:", list(vec.get_feature_names_out()))
După reparație, programul afișează
Curat: ['livrare rapida', 'produs ok livrare lenta', 'rapida si ok']
Vocabular: ['lenta', 'livrare', 'ok', 'produs', 'rapida', 'si']
Indiciu

Folosește r"[^a-z ]": caracterul ^ din paranteze înseamnă „orice în afară de”.

Alte forme ale mesajului

  • ValueError: empty vocabulary; perhaps the documents only contain stop words.

Cum o eviți pe viitor

Verifică textele după fiecare pas de curățare (print(curat[:3])) și testează analizatorul vectorizerului pe un exemplu. Nu folosi stop_words="english" pe texte în română; dacă vrei stop words românești, dă-le ca listă proprie. Pentru coduri scurte sau cifre, setează token_pattern explicit. Afișează și len(vec.vocabulary_) după antrenare, ca să vezi câte cuvinte au rămas.

Întrebări frecvente

De ce cuvântul „e” sau „o” dispare din vocabular?

Pentru că are un singur caracter, iar token_pattern implicit păstrează doar tokeni de cel puțin 2 caractere. De obicei e bine așa, fiind cuvinte care nu poartă informație.

Primesc eroarea doar pe datele noi, la transform. De ce?

La transform nu se construiește vocabular, deci eroarea asta nu apare acolo. Dacă textele noi nu conțin niciun cuvânt cunoscut, primești doar rânduri de zerouri, fără eroare. Mesajul apare la fit sau fit_transform.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.