...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

ValueError: Iterable over raw text documents expected, string object received.

Pe scurt

Ai dat vectorizerului (sau unui Pipeline cu vectorizer) un singur text, ca șir, în loc de o listă de texte. Pune textul într-o listă: vec.transform(["mesajul nou"]) sau pipe.predict(["mesajul nou"]).

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

CountVectorizer, TfidfVectorizer și HashingVectorizer lucrează cu o colecție de documente: o listă, o coloană pandas, orice se poate parcurge, în care fiecare element este un text. Un șir de caractere se poate și el parcurge, dar literă cu literă, deci vectorizerul ar trata fiecare literă ca pe un document separat. Ca să nu se întâmple asta pe ascuns, verifică tipul și se oprește: se aștepta la o colecție de texte și a primit un singur str.

Greșeala apare aproape mereu la predicție, când testezi modelul pe un singur mesaj: pipe.predict("castiga bani"). Rezultatul lui predict pe o listă de un element este tot o listă, deci iei primul element cu [0]. Același lucru se întâmplă dacă selectezi o singură celulă dintr-un DataFrame (df.loc[0, "text"]) în loc de o coloană.

De ce apare: cauzele frecvente

1Predicție pe un singur mesaj

Greșit
PYTHON
pipe.predict("castiga bani acum")
Corect
PYTHON
pipe.predict(["castiga bani acum"])[0]

Lista de un element e o colecție cu un document. [0] scoate predicția lui.

2O celulă în loc de o coloană

Greșit
PYTHON
vec.transform(df.loc[0, "text"])
Corect
PYTHON
vec.transform(df.loc[[0], "text"])

Cu index între paranteze duble obții o coloană cu un rând, nu un șir simplu.

3Textele lipite într-un singur șir

Greșit
PYTHON
texte = "\n".join(lista_mesaje)
vec.fit(texte)
Corect
PYTHON
vec.fit(lista_mesaje)

Fiecare mesaj trebuie să rămână un element separat al listei, ca să devină un rând în matrice.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: Iterable over raw text documents expected, string object received., pentru că predict primește un singur mesaj ca șir. Repară apelul, ca programul să afișeze predicția pentru mesajul nou.

Codul care dă eroarea
PYTHON
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import make_pipeline

texte = ["castiga bani acum", "premiu gratis castiga", "ne vedem la sedinta", "raportul e gata"]
y = ["spam", "spam", "normal", "normal"]

pipe = make_pipeline(CountVectorizer(), MultinomialNB()).fit(texte, y)
mesaj = "premiu bani gratis"
print("Predictie:", pipe.predict(mesaj))
După reparație, programul afișează
Predictie: spam
Indiciu

Scrie pipe.predict([mesaj])[0].

Alte forme ale mesajului

  • ValueError: Iterable over raw text documents expected, string object received

Cum o eviți pe viitor

Ține minte forma: vectorizerele și Pipeline-urile de text primesc mereu o listă de texte și întorc câte un rând pentru fiecare. Când scrii o funcție de predicție pentru un singur mesaj, fă conversia într-un singur loc: def clasifica(mesaj): return pipe.predict([mesaj])[0].

Întrebări frecvente

Merge cu un tuplu sau o coloană pandas?

Da. Orice colecție de texte merge: listă, tuplu, pd.Series, tablou numpy de texte. Doar un str simplu este refuzat.

De ce nu mi-a dat eroare în versiuni mai vechi?

Versiunile foarte vechi tratau șirul literă cu literă și întorceau o matrice cu un rând pentru fiecare caracter. Verificarea a fost adăugată tocmai ca să prindă greșeala aceasta.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.