ValueError: Iterable over raw text documents expected, string object received.
Ai dat vectorizerului (sau unui Pipeline cu vectorizer) un singur text, ca șir, în loc de o listă de texte. Pune textul într-o listă: vec.transform(["mesajul nou"]) sau pipe.predict(["mesajul nou"]).
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
CountVectorizer, TfidfVectorizer și HashingVectorizer lucrează cu o colecție de documente: o listă, o coloană pandas, orice se poate parcurge, în care fiecare element este un text. Un șir de caractere se poate și el parcurge, dar literă cu literă, deci vectorizerul ar trata fiecare literă ca pe un document separat. Ca să nu se întâmple asta pe ascuns, verifică tipul și se oprește: se aștepta la o colecție de texte și a primit un singur str.
Greșeala apare aproape mereu la predicție, când testezi modelul pe un singur mesaj: pipe.predict("castiga bani"). Rezultatul lui predict pe o listă de un element este tot o listă, deci iei primul element cu [0]. Același lucru se întâmplă dacă selectezi o singură celulă dintr-un DataFrame (df.loc[0, "text"]) în loc de o coloană.
De ce apare: cauzele frecvente
1Predicție pe un singur mesaj
pipe.predict("castiga bani acum")pipe.predict(["castiga bani acum"])[0]Lista de un element e o colecție cu un document. [0] scoate predicția lui.
2O celulă în loc de o coloană
vec.transform(df.loc[0, "text"])vec.transform(df.loc[[0], "text"])Cu index între paranteze duble obții o coloană cu un rând, nu un șir simplu.
3Textele lipite într-un singur șir
texte = "\n".join(lista_mesaje)
vec.fit(texte)vec.fit(lista_mesaje)Fiecare mesaj trebuie să rămână un element separat al listei, ca să devină un rând în matrice.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: Iterable over raw text documents expected, string object received., pentru că predict primește un singur mesaj ca șir. Repară apelul, ca programul să afișeze predicția pentru mesajul nou.
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import make_pipeline
texte = ["castiga bani acum", "premiu gratis castiga", "ne vedem la sedinta", "raportul e gata"]
y = ["spam", "spam", "normal", "normal"]
pipe = make_pipeline(CountVectorizer(), MultinomialNB()).fit(texte, y)
mesaj = "premiu bani gratis"
print("Predictie:", pipe.predict(mesaj))Predictie: spam
Indiciu
Scrie pipe.predict([mesaj])[0].
Reparația
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import make_pipeline
texte = ["castiga bani acum", "premiu gratis castiga", "ne vedem la sedinta", "raportul e gata"]
y = ["spam", "spam", "normal", "normal"]
pipe = make_pipeline(CountVectorizer(), MultinomialNB()).fit(texte, y)
mesaj = "premiu bani gratis"
print("Predictie:", pipe.predict([mesaj])[0])De ce merge
Pipeline-ul începe cu CountVectorizer, care cere o colecție de texte. Un șir simplu ar fi fost parcurs literă cu literă, de aceea e refuzat. [mesaj] este o listă cu un singur document, deci primești o listă cu o singură predicție, pe care o scoți cu [0]. Toate cuvintele mesajului apar doar în exemplele de spam, deci predicția este spam.
Alte forme ale mesajului
ValueError: Iterable over raw text documents expected, string object received
Cum o eviți pe viitor
Ține minte forma: vectorizerele și Pipeline-urile de text primesc mereu o listă de texte și întorc câte un rând pentru fiecare. Când scrii o funcție de predicție pentru un singur mesaj, fă conversia într-un singur loc: def clasifica(mesaj): return pipe.predict([mesaj])[0].
Întrebări frecvente
Merge cu un tuplu sau o coloană pandas?
Da. Orice colecție de texte merge: listă, tuplu, pd.Series, tablou numpy de texte. Doar un str simplu este refuzat.
De ce nu mi-a dat eroare în versiuni mai vechi?
Versiunile foarte vechi tratau șirul literă cu literă și întorceau o matrice cu un rând pentru fiecare caracter. Verificarea a fost adăugată tocmai ca să prindă greșeala aceasta.
Erori înrudite
ValueError: Expected 2D array, got 1D array instead Modelul vrea X ca tabel 2D (rânduri = exemple, coloane = caracteristici), dar a primit o listă simplă 1D. Cu o singură caracteristică, folosește df[['suprafata']] (două paranteze) sau x.reshape(-1, 1); pentru un singur exemplu, [[50]]. AttributeError: 'list' object has no attribute 'lower' CountVectorizer sau TfidfVectorizer a primit documente care sunt liste de cuvinte (texte deja împărțite în tokeni), dar se aștepta la texte întregi, pe care le transformă singur în litere mici și le împarte. Lipește cuvintele la loc cu " ".join(tokeni) sau dă-i analyzer=lambda doc: doc. ValueError: np.nan is an invalid document, expected byte or unicode string. Coloana de text dată lui CountVectorizer sau TfidfVectorizer are valori lipsă (NaN). Vectorizerul acceptă doar texte. Completează lipsurile cu text gol, df["text"].fillna(""), sau elimină rândurile fără text înainte de fit. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
