...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

ValueError: np.nan is an invalid document, expected byte or unicode string.

Pe scurt

Coloana de text dată lui CountVectorizer sau TfidfVectorizer are valori lipsă (NaN). Vectorizerul acceptă doar texte. Completează lipsurile cu text gol, df["text"].fillna(""), sau elimină rândurile fără text înainte de fit.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Vectorizerele de text primesc o listă (sau o coloană) de documente, iar fiecare document trebuie să fie un șir de caractere. În pandas, o celulă goală dintr-o coloană text este NaN, care e de tip float, nu text. Vectorizerul îl întâlnește, încearcă să-l prelucreze ca text și se oprește cu mesajul acesta: np.nan nu este un document valid, se aștepta la bytes sau unicode (adică un str).

Se întâmplă la recenzii fără comentariu, la mesaje goale exportate din baze de date, după un merge care n-a găsit pereche sau la citirea unui CSV cu rânduri incomplete. Ai două variante, în funcție de sens: dacă textul lipsă înseamnă „nimic de spus”, îl completezi cu "" (rândul rămâne, cu zerouri pe toate coloanele); dacă rândul nu e util fără text, îl elimini cu dropna(subset=["text"]), din X și y deodată.

De ce apare: cauzele frecvente

1Recenzii fără text

Greșit
PYTHON
X = TfidfVectorizer().fit_transform(df["comentariu"])
Corect
PYTHON
X = TfidfVectorizer().fit_transform(df["comentariu"].fillna(""))

fillna("") înlocuiește NaN cu text gol, pe care vectorizerul îl acceptă.

2Rânduri fără text eliminate

Greșit
PYTHON
model.fit(df["mesaj"], df["spam"])  # Pipeline cu vectorizer
Corect
PYTHON
df = df.dropna(subset=["mesaj"])
model.fit(df["mesaj"], df["spam"])

Eliminând rândurile din tot tabelul, textele și etichetele rămân aliniate.

3Lipsuri și în datele noi

Greșit
PYTHON
pipe.predict(noi["mesaj"])
Corect
PYTHON
pipe.predict(noi["mesaj"].fillna(""))

Aceeași curățare trebuie aplicată și la predicție, nu doar la antrenare.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: np.nan is an invalid document, expected byte or unicode string., pentru că o recenzie nu are text. Repară-l: completează textele lipsă cu șirul gol, ca programul să afișeze forma matricei și cuvintele din vocabular.

Codul care dă eroarea
PYTHON
import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer

df = pd.DataFrame({
    "nota": [5, 4, 1, 5],
    "comentariu": ["livrare rapida", "produs bun", np.nan, "rapida si bun"],
})

texte = df["comentariu"]
vec = CountVectorizer()
X = vec.fit_transform(texte)
print("Forma:", X.shape)
print("Vocabular:", list(vec.get_feature_names_out()))
După reparație, programul afișează
Forma: (4, 5)
Vocabular: ['bun', 'livrare', 'produs', 'rapida', 'si']
Indiciu

texte = df["comentariu"].fillna("").

Alte forme ale mesajului

  • ValueError: np.nan is an invalid document, expected byte or unicode string
  • AttributeError: 'float' object has no attribute 'lower'

Cum o eviți pe viitor

Înainte de a vectoriza, verifică df["text"].isna().sum(). Pune curățarea într-o funcție aplicată la fel și la antrenare, și la predicție, sau într-un FunctionTransformer la începutul Pipeline-ului. Dacă textele vin dintr-o bază de date, tratează valorile NULL chiar la export. Un assert df["text"].map(type).eq(str).all() înainte de antrenare prinde orice valoare care nu e text.

Întrebări frecvente

E mai bine să completez cu "" sau să elimin rândurile?

Depinde de sens. La recenzii, lipsa comentariului poate fi informativă (clientul a dat doar o notă), deci "" păstrează rândul. La un filtru de spam, un mesaj fără text nu are ce învăța modelului, deci îl elimini.

De ce în versiunile vechi primeam 'float' object has no attribute 'lower'?

Vectorizerul încerca să transforme textul în litere mici, iar NaN (un float) nu are metoda lower. Versiunile noi verifică întâi tipul și dau mesajul mai clar despre np.nan.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.