...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

TypeError: sparse array length is ambiguous; use getnnz() or shape[0]

Pe scurt

Ai apelat len() pe o matrice rară (sparse), de exemplu rezultatul lui TfidfVectorizer sau OneHotEncoder. Pentru numărul de rânduri folosește X.shape[0], iar pentru numărul de valori diferite de zero, X.nnz.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Vectorizatoarele de text (CountVectorizer, TfidfVectorizer) și OneHotEncoder întorc implicit matrici rare din scipy: păstrează doar valorile diferite de zero, ca să nu ocupe memorie cu milioane de zerouri. Pentru o astfel de matrice, „lungimea” poate însemna două lucruri: numărul de rânduri sau numărul de valori stocate. Ca să nu ghicească, scipy refuză len() și îți spune ce să folosești.

X.shape[0] e numărul de documente (rânduri), X.shape[1] numărul de cuvinte (coloane), iar X.nnz (sau getnnz()) numărul de valori diferite de zero.

Eroarea apare des în cod scris pentru liste sau DataFrame-uri (len(X)), refolosit după vectorizare, inclusiv în funcții proprii de împărțire sau de afișare.

De ce apare: cauzele frecvente

1len() pe rezultatul vectorizatorului

Greșit
PYTHON
X = TfidfVectorizer().fit_transform(texte)
print("Documente:", len(X))
Corect
PYTHON
X = TfidfVectorizer().fit_transform(texte)
print("Documente:", X.shape[0])

shape[0] e numărul de rânduri, adică de documente.

2Ai vrut numărul de valori nenule

Greșit
PYTHON
print("Cuvinte gasite:", len(X))
Corect
PYTHON
print("Valori nenule:", X.nnz)

nnz numără valorile stocate în matricea rară.

3Funcție proprie care folosește len

Greșit
PYTHON
def jumatate(X):
    n = len(X)
    return X[: n // 2]
Corect
PYTHON
def jumatate(X):
    n = X.shape[0]
    return X[: n // 2]

X.shape[0] merge și pe liste numpy, și pe DataFrame-uri, și pe matrici rare.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă TypeError: sparse array length is ambiguous, pentru că len() e apelat pe matricea TF-IDF. Folosește forma matricei pentru numărul de documente și de cuvinte, ca programul să le afișeze.

Codul care dă eroarea
PYTHON
from sklearn.feature_extraction.text import TfidfVectorizer

texte = ["pret bun", "pret mic", "livrare rapida", "pret bun livrare"]

X = TfidfVectorizer().fit_transform(texte)
print("Documente:", len(X))
print("Cuvinte:", X.shape[1])
După reparație, programul afișează
Documente: 4
Cuvinte: 5
Indiciu

Numărul de documente e X.shape[0], iar numărul de cuvinte X.shape[1].

Alte forme ale mesajului

  • TypeError: sparse matrix length is ambiguous; use getnnz() or shape[0]

Cum o eviți pe viitor

Folosește X.shape[0] în loc de len(X) în orice cod care poate primi și matrici rare. Afișează type(X) după vectorizare, ca să știi cu ce lucrezi. Dacă ai nevoie de un array dens pentru afișare, folosește X.toarray() doar pe date mici: pe texte reale, matricea densă poate umple memoria.

Întrebări frecvente

De ce vectorizatorul nu întoarce un array obișnuit?

Pentru că pe texte reale, fiecare document conține o parte foarte mică din vocabular. O matrice densă ar fi aproape numai zerouri și ar ocupa enorm de multă memorie.

Merge train_test_split pe matrici rare?

Da, train_test_split și modelele din scikit-learn lucrează direct cu matrici rare. Problema apare doar la funcții Python precum len.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.