ValueError: empty vocabulary; perhaps the documents only contain stop words
CountVectorizer sau TfidfVectorizer n-a găsit niciun cuvânt în texte: toate au fost goale, eliminate ca stop words sau prea scurte (implicit, un cuvânt are minimum 2 caractere). Afișează textele exact cum ajung la vectorizer și verifică curățarea, stop_words și token_pattern.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
La fit, vectorizerul împarte fiecare text în cuvinte (tokeni), elimină cuvintele de oprire, dacă i-ai cerut, și construiește vocabularul. Dacă la final vocabularul e gol, nu poate crea nicio coloană și se oprește. Mesajul presupune cauza cea mai simplă, „documentele conțin doar stop words”, dar în practică motivele sunt mai variate.
Cele mai dese: o funcție de curățare care, din greșeală, șterge tot textul (o expresie regulată inversată); texte formate doar din cifre sau litere singure, pe care token_pattern implicit ((?u)\b\w\w+\b, cel puțin 2 caractere) le ignoră; stop_words="english" pe mesaje foarte scurte în engleză; o coloană care, după un filtru, conține doar texte goale. Afișează câteva texte imediat înainte de fit și testează CountVectorizer().build_analyzer()("textul tău"), ca să vezi ce tokeni rezultă.
De ce apare: cauzele frecvente
1Curățarea șterge tot textul
curat = [re.sub(r"[a-z]", "", t.lower()) for t in texte] # șterge literele!
CountVectorizer().fit(curat)curat = [re.sub(r"[^a-z ]", "", t.lower()) for t in texte] # păstrează literele
CountVectorizer().fit(curat)[^a-z ] înseamnă „orice în afară de litere și spațiu”, deci se elimină punctuația și cifrele, iar cuvintele rămân.
2Tokeni de un singur caracter
note = ["5", "3", "4", "1"]
CountVectorizer().fit(note)note = ["5", "3", "4", "1"]
CountVectorizer(token_pattern=r"(?u)\b\w+\b").fit(note)Modelul implicit cere cel puțin 2 caractere. \w+ acceptă și tokeni de un caracter.
3Doar cuvinte de oprire
CountVectorizer(stop_words="english").fit(["the and", "of the"])CountVectorizer().fit(["the and", "of the"]) # sau texte mai bogateLista de stop words în engleză elimină toate cuvintele. Pe texte în română, lista engleză oricum nu ajută.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: empty vocabulary; perhaps the documents only contain stop words, pentru că expresia regulată de curățare șterge literele în loc să păstreze doar literele și spațiile. Repar-o, ca programul să afișeze textele curățate și vocabularul.
import re
from sklearn.feature_extraction.text import CountVectorizer
texte = ["Livrare RAPIDA!!!", "Produs ok, livrare lenta.", "Rapida si ok :)"]
curat = [re.sub(r"[a-z]", "", t.lower()).strip() for t in texte]
vec = CountVectorizer().fit(curat)
print("Curat:", curat)
print("Vocabular:", list(vec.get_feature_names_out()))Curat: ['livrare rapida', 'produs ok livrare lenta', 'rapida si ok'] Vocabular: ['lenta', 'livrare', 'ok', 'produs', 'rapida', 'si']
Indiciu
Folosește r"[^a-z ]": caracterul ^ din paranteze înseamnă „orice în afară de”.
Reparația
import re
from sklearn.feature_extraction.text import CountVectorizer
texte = ["Livrare RAPIDA!!!", "Produs ok, livrare lenta.", "Rapida si ok :)"]
curat = [re.sub(r"[^a-z ]", "", t.lower()).strip() for t in texte]
vec = CountVectorizer().fit(curat)
print("Curat:", curat)
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])De ce merge
[a-z] se potrivea cu fiecare literă, deci după curățare rămâneau doar semne de punctuație și spații, iar vectorizerul nu găsea niciun cuvânt. [^a-z ] se potrivește cu tot ce nu e literă sau spațiu, deci șterge !!!, ,, . și :) și păstrează cuvintele. Vocabularul are cele șase cuvinte distincte, în ordine alfabetică.
Alte forme ale mesajului
ValueError: empty vocabulary; perhaps the documents only contain stop words.
Cum o eviți pe viitor
Verifică textele după fiecare pas de curățare (print(curat[:3])) și testează analizatorul vectorizerului pe un exemplu. Nu folosi stop_words="english" pe texte în română; dacă vrei stop words românești, dă-le ca listă proprie. Pentru coduri scurte sau cifre, setează token_pattern explicit. Afișează și len(vec.vocabulary_) după antrenare, ca să vezi câte cuvinte au rămas.
Întrebări frecvente
De ce cuvântul „e” sau „o” dispare din vocabular?
Pentru că are un singur caracter, iar token_pattern implicit păstrează doar tokeni de cel puțin 2 caractere. De obicei e bine așa, fiind cuvinte care nu poartă informație.
Primesc eroarea doar pe datele noi, la transform. De ce?
La transform nu se construiește vocabular, deci eroarea asta nu apare acolo. Dacă textele noi nu conțin niciun cuvânt cunoscut, primești doar rânduri de zerouri, fără eroare. Mesajul apare la fit sau fit_transform.
Erori înrudite
ValueError: np.nan is an invalid document, expected byte or unicode string. Coloana de text dată lui CountVectorizer sau TfidfVectorizer are valori lipsă (NaN). Vectorizerul acceptă doar texte. Completează lipsurile cu text gol, df["text"].fillna(""), sau elimină rândurile fără text înainte de fit. AttributeError: 'list' object has no attribute 'lower' CountVectorizer sau TfidfVectorizer a primit documente care sunt liste de cuvinte (texte deja împărțite în tokeni), dar se aștepta la texte întregi, pe care le transformă singur în litere mici și le împarte. Lipește cuvintele la loc cu " ".join(tokeni) sau dă-i analyzer=lambda doc: doc. ValueError: Found array with 0 sample(s) (shape=(0, 1)) while a minimum of 1 is required by LinearRegression. Ai dat modelului un tabel fără niciun rând. De obicei un filtru (dropna, o condiție pe o coloană, un merge) a eliminat tot. Afișează len(df) după fiecare pas de curățare și repară filtrul care golește tabelul. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
