AttributeError: 'list' object has no attribute 'lower'
CountVectorizer sau TfidfVectorizer a primit documente care sunt liste de cuvinte (texte deja împărțite în tokeni), dar se aștepta la texte întregi, pe care le transformă singur în litere mici și le împarte. Lipește cuvintele la loc cu " ".join(tokeni) sau dă-i analyzer=lambda doc: doc.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Primul lucru pe care vectorizerul îl face cu fiecare document este document.lower(), pentru că implicit lowercase=True. Metoda lower există pentru str, nu pentru list. Dacă textele au fost deja împărțite în cuvinte (cu split(), cu o bibliotecă de NLP sau dintr-un JSON), fiecare document este o listă, iar apelul eșuează cu mesajul acesta.
Ai două soluții. Cea simplă: refaci textele cu " ".join(tokeni), iar vectorizerul le împarte din nou, la fel. Cea care păstrează exact tokenizarea ta (de exemplu expresii din mai multe cuvinte, ca "new_york"): îi spui vectorizerului să nu mai prelucreze documentele, cu CountVectorizer(analyzer=lambda doc: doc). Un mesaj înrudit, 'float' object has no attribute 'lower', înseamnă că printre texte sunt valori NaN.
De ce apare: cauzele frecvente
1Texte deja împărțite în cuvinte
tokeni = [t.split() for t in texte]
CountVectorizer().fit(tokeni)CountVectorizer().fit(texte) # textele întregiVectorizerul își face singur împărțirea în cuvinte. Dă-i textele originale.
2Ai doar tokenii
CountVectorizer().fit([["livrare", "rapida"], ["produs", "bun"]])docs = [["livrare", "rapida"], ["produs", "bun"]]
CountVectorizer().fit([" ".join(d) for d in docs])" ".join refac fiecare document ca text, cu cuvintele separate prin spațiu.
3Vrei să păstrezi tokenizarea ta
CountVectorizer().fit([["new_york", "zbor"], ["cluj", "tren"]])vec = CountVectorizer(analyzer=lambda doc: doc)
vec.fit([["new_york", "zbor"], ["cluj", "tren"]])Cu un analyzer care întoarce documentul neschimbat, fiecare element al listei devine direct un cuvânt din vocabular.
Repară eroarea, direct în pagină
Codul de mai jos dă AttributeError: 'list' object has no attribute 'lower', pentru că recenziile sunt deja împărțite în liste de cuvinte. Repară-l: lipește cuvintele fiecărei recenzii într-un text, cu spații, înainte de vectorizare, ca programul să afișeze vocabularul și numărul de cuvinte din prima recenzie.
from sklearn.feature_extraction.text import CountVectorizer
recenzii = [["Livrare", "rapida", "livrare", "buna"], ["Produs", "bun"], ["Livrare", "lenta"]]
texte = recenzii
vec = CountVectorizer()
X = vec.fit_transform(texte)
print("Vocabular:", list(vec.get_feature_names_out()))
print("Cuvinte in prima recenzie:", X[0].sum())Vocabular: ['bun', 'buna', 'lenta', 'livrare', 'produs', 'rapida'] Cuvinte in prima recenzie: 4
Indiciu
texte = [" ".join(r) for r in recenzii].
Reparația
from sklearn.feature_extraction.text import CountVectorizer
recenzii = [["Livrare", "rapida", "livrare", "buna"], ["Produs", "bun"], ["Livrare", "lenta"]]
texte = [" ".join(r) for r in recenzii]
vec = CountVectorizer()
X = vec.fit_transform(texte)
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])
print("Cuvinte in prima recenzie:", int(X[0].sum()))De ce merge
CountVectorizer transformă fiecare document în litere mici cu .lower(), metodă care există doar pentru texte. După " ".join(r), fiecare recenzie redevine un text, iar vectorizerul îl împarte singur în cuvinte. Pentru că trece totul în litere mici, Livrare și livrare devin același cuvânt, deci prima recenzie are 4 cuvinte, dintre care livrare de două ori.
Alte forme ale mesajului
AttributeError: 'float' object has no attribute 'lower'AttributeError: 'int' object has no attribute 'lower'AttributeError: 'numpy.ndarray' object has no attribute 'lower'
Cum o eviți pe viitor
Hotărăște într-un singur loc cine împarte textul în cuvinte: fie vectorizerul (îi dai texte întregi), fie codul tău (atunci îi dai un analyzer propriu). Verifică type(texte[0]) înainte de fit: trebuie să fie str. Dacă vezi float, ai NaN în date; dacă vezi int, coloana nu este cea de text.
Întrebări frecvente
De ce primesc mesajul cu 'numpy.ndarray'?
Probabil ai dat vectorizerului un tabel cu mai multe coloane (de exemplu df[["text"]].values), deci fiecare document e un rând-tablou. Dă-i o singură coloană: df["text"].
Pot folosi tokenizarea dintr-o bibliotecă de NLP direct în CountVectorizer?
Da, prin parametrul tokenizer=funcția_ta. Vectorizerul va aplica funcția pe fiecare text întreg (după lower), deci tot îi dai texte, nu liste.
Erori înrudite
ValueError: np.nan is an invalid document, expected byte or unicode string. Coloana de text dată lui CountVectorizer sau TfidfVectorizer are valori lipsă (NaN). Vectorizerul acceptă doar texte. Completează lipsurile cu text gol, df["text"].fillna(""), sau elimină rândurile fără text înainte de fit. ValueError: Iterable over raw text documents expected, string object received. Ai dat vectorizerului (sau unui Pipeline cu vectorizer) un singur text, ca șir, în loc de o listă de texte. Pune textul într-o listă: vec.transform(["mesajul nou"]) sau pipe.predict(["mesajul nou"]). ValueError: empty vocabulary; perhaps the documents only contain stop words CountVectorizer sau TfidfVectorizer n-a găsit niciun cuvânt în texte: toate au fost goale, eliminate ca stop words sau prea scurte (implicit, un cuvânt are minimum 2 caractere). Afișează textele exact cum ajung la vectorizer și verifică curățarea, stop_words și token_pattern. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
