ValueError: np.nan is an invalid document, expected byte or unicode string.
Coloana de text dată lui CountVectorizer sau TfidfVectorizer are valori lipsă (NaN). Vectorizerul acceptă doar texte. Completează lipsurile cu text gol, df["text"].fillna(""), sau elimină rândurile fără text înainte de fit.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Vectorizerele de text primesc o listă (sau o coloană) de documente, iar fiecare document trebuie să fie un șir de caractere. În pandas, o celulă goală dintr-o coloană text este NaN, care e de tip float, nu text. Vectorizerul îl întâlnește, încearcă să-l prelucreze ca text și se oprește cu mesajul acesta: np.nan nu este un document valid, se aștepta la bytes sau unicode (adică un str).
Se întâmplă la recenzii fără comentariu, la mesaje goale exportate din baze de date, după un merge care n-a găsit pereche sau la citirea unui CSV cu rânduri incomplete. Ai două variante, în funcție de sens: dacă textul lipsă înseamnă „nimic de spus”, îl completezi cu "" (rândul rămâne, cu zerouri pe toate coloanele); dacă rândul nu e util fără text, îl elimini cu dropna(subset=["text"]), din X și y deodată.
De ce apare: cauzele frecvente
1Recenzii fără text
X = TfidfVectorizer().fit_transform(df["comentariu"])X = TfidfVectorizer().fit_transform(df["comentariu"].fillna(""))fillna("") înlocuiește NaN cu text gol, pe care vectorizerul îl acceptă.
2Rânduri fără text eliminate
model.fit(df["mesaj"], df["spam"]) # Pipeline cu vectorizerdf = df.dropna(subset=["mesaj"])
model.fit(df["mesaj"], df["spam"])Eliminând rândurile din tot tabelul, textele și etichetele rămân aliniate.
3Lipsuri și în datele noi
pipe.predict(noi["mesaj"])pipe.predict(noi["mesaj"].fillna(""))Aceeași curățare trebuie aplicată și la predicție, nu doar la antrenare.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: np.nan is an invalid document, expected byte or unicode string., pentru că o recenzie nu are text. Repară-l: completează textele lipsă cu șirul gol, ca programul să afișeze forma matricei și cuvintele din vocabular.
import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
df = pd.DataFrame({
"nota": [5, 4, 1, 5],
"comentariu": ["livrare rapida", "produs bun", np.nan, "rapida si bun"],
})
texte = df["comentariu"]
vec = CountVectorizer()
X = vec.fit_transform(texte)
print("Forma:", X.shape)
print("Vocabular:", list(vec.get_feature_names_out()))Forma: (4, 5) Vocabular: ['bun', 'livrare', 'produs', 'rapida', 'si']
Indiciu
texte = df["comentariu"].fillna("").
Reparația
import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
df = pd.DataFrame({
"nota": [5, 4, 1, 5],
"comentariu": ["livrare rapida", "produs bun", np.nan, "rapida si bun"],
})
texte = df["comentariu"].fillna("")
vec = CountVectorizer()
X = vec.fit_transform(texte)
print("Forma:", X.shape)
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])De ce merge
Celula goală din pandas este NaN, un număr zecimal, nu text, iar vectorizerul acceptă doar texte. După fillna(""), recenzia fără comentariu devine un text gol: rămâne în tabel, ca rând plin de zerouri, deci matricea are tot 4 rânduri, iar coloanele sunt cele 5 cuvinte distincte din celelalte recenzii.
Alte forme ale mesajului
ValueError: np.nan is an invalid document, expected byte or unicode stringAttributeError: 'float' object has no attribute 'lower'
Cum o eviți pe viitor
Înainte de a vectoriza, verifică df["text"].isna().sum(). Pune curățarea într-o funcție aplicată la fel și la antrenare, și la predicție, sau într-un FunctionTransformer la începutul Pipeline-ului. Dacă textele vin dintr-o bază de date, tratează valorile NULL chiar la export. Un assert df["text"].map(type).eq(str).all() înainte de antrenare prinde orice valoare care nu e text.
Întrebări frecvente
E mai bine să completez cu "" sau să elimin rândurile?
Depinde de sens. La recenzii, lipsa comentariului poate fi informativă (clientul a dat doar o notă), deci "" păstrează rândul. La un filtru de spam, un mesaj fără text nu are ce învăța modelului, deci îl elimini.
De ce în versiunile vechi primeam 'float' object has no attribute 'lower'?
Vectorizerul încerca să transforme textul în litere mici, iar NaN (un float) nu are metoda lower. Versiunile noi verifică întâi tipul și dau mesajul mai clar despre np.nan.
Erori înrudite
ValueError: Input X contains NaN. Datele de intrare X au cel puțin o valoare lipsă (NaN), iar modelul nu știe să lucreze cu ea. Completează golurile înainte de fit (de exemplu cu fillna sau SimpleImputer) sau elimină rândurile incomplete cu dropna. ValueError: empty vocabulary; perhaps the documents only contain stop words CountVectorizer sau TfidfVectorizer n-a găsit niciun cuvânt în texte: toate au fost goale, eliminate ca stop words sau prea scurte (implicit, un cuvânt are minimum 2 caractere). Afișează textele exact cum ajung la vectorizer și verifică curățarea, stop_words și token_pattern. AttributeError: 'list' object has no attribute 'lower' CountVectorizer sau TfidfVectorizer a primit documente care sunt liste de cuvinte (texte deja împărțite în tokeni), dar se aștepta la texte întregi, pe care le transformă singur în litere mici și le împarte. Lipește cuvintele la loc cu " ".join(tokeni) sau dă-i analyzer=lambda doc: doc. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
