...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

AttributeError: 'list' object has no attribute 'lower'

Pe scurt

CountVectorizer sau TfidfVectorizer a primit documente care sunt liste de cuvinte (texte deja împărțite în tokeni), dar se aștepta la texte întregi, pe care le transformă singur în litere mici și le împarte. Lipește cuvintele la loc cu " ".join(tokeni) sau dă-i analyzer=lambda doc: doc.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Primul lucru pe care vectorizerul îl face cu fiecare document este document.lower(), pentru că implicit lowercase=True. Metoda lower există pentru str, nu pentru list. Dacă textele au fost deja împărțite în cuvinte (cu split(), cu o bibliotecă de NLP sau dintr-un JSON), fiecare document este o listă, iar apelul eșuează cu mesajul acesta.

Ai două soluții. Cea simplă: refaci textele cu " ".join(tokeni), iar vectorizerul le împarte din nou, la fel. Cea care păstrează exact tokenizarea ta (de exemplu expresii din mai multe cuvinte, ca "new_york"): îi spui vectorizerului să nu mai prelucreze documentele, cu CountVectorizer(analyzer=lambda doc: doc). Un mesaj înrudit, 'float' object has no attribute 'lower', înseamnă că printre texte sunt valori NaN.

De ce apare: cauzele frecvente

1Texte deja împărțite în cuvinte

Greșit
PYTHON
tokeni = [t.split() for t in texte]
CountVectorizer().fit(tokeni)
Corect
PYTHON
CountVectorizer().fit(texte)  # textele întregi

Vectorizerul își face singur împărțirea în cuvinte. Dă-i textele originale.

2Ai doar tokenii

Greșit
PYTHON
CountVectorizer().fit([["livrare", "rapida"], ["produs", "bun"]])
Corect
PYTHON
docs = [["livrare", "rapida"], ["produs", "bun"]]
CountVectorizer().fit([" ".join(d) for d in docs])

" ".join refac fiecare document ca text, cu cuvintele separate prin spațiu.

3Vrei să păstrezi tokenizarea ta

Greșit
PYTHON
CountVectorizer().fit([["new_york", "zbor"], ["cluj", "tren"]])
Corect
PYTHON
vec = CountVectorizer(analyzer=lambda doc: doc)
vec.fit([["new_york", "zbor"], ["cluj", "tren"]])

Cu un analyzer care întoarce documentul neschimbat, fiecare element al listei devine direct un cuvânt din vocabular.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă AttributeError: 'list' object has no attribute 'lower', pentru că recenziile sunt deja împărțite în liste de cuvinte. Repară-l: lipește cuvintele fiecărei recenzii într-un text, cu spații, înainte de vectorizare, ca programul să afișeze vocabularul și numărul de cuvinte din prima recenzie.

Codul care dă eroarea
PYTHON
from sklearn.feature_extraction.text import CountVectorizer

recenzii = [["Livrare", "rapida", "livrare", "buna"], ["Produs", "bun"], ["Livrare", "lenta"]]

texte = recenzii
vec = CountVectorizer()
X = vec.fit_transform(texte)
print("Vocabular:", list(vec.get_feature_names_out()))
print("Cuvinte in prima recenzie:", X[0].sum())
După reparație, programul afișează
Vocabular: ['bun', 'buna', 'lenta', 'livrare', 'produs', 'rapida']
Cuvinte in prima recenzie: 4
Indiciu

texte = [" ".join(r) for r in recenzii].

Alte forme ale mesajului

  • AttributeError: 'float' object has no attribute 'lower'
  • AttributeError: 'int' object has no attribute 'lower'
  • AttributeError: 'numpy.ndarray' object has no attribute 'lower'

Cum o eviți pe viitor

Hotărăște într-un singur loc cine împarte textul în cuvinte: fie vectorizerul (îi dai texte întregi), fie codul tău (atunci îi dai un analyzer propriu). Verifică type(texte[0]) înainte de fit: trebuie să fie str. Dacă vezi float, ai NaN în date; dacă vezi int, coloana nu este cea de text.

Întrebări frecvente

De ce primesc mesajul cu 'numpy.ndarray'?

Probabil ai dat vectorizerului un tabel cu mai multe coloane (de exemplu df[["text"]].values), deci fiecare document e un rând-tablou. Dă-i o singură coloană: df["text"].

Pot folosi tokenizarea dintr-o bibliotecă de NLP direct în CountVectorizer?

Da, prin parametrul tokenizer=funcția_ta. Vectorizerul va aplica funcția pe fiecare text întreg (după lower), deci tot îi dai texte, nu liste.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.