TypeError: sparse array length is ambiguous; use getnnz() or shape[0]
Ai apelat len() pe o matrice rară (sparse), de exemplu rezultatul lui TfidfVectorizer sau OneHotEncoder. Pentru numărul de rânduri folosește X.shape[0], iar pentru numărul de valori diferite de zero, X.nnz.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Vectorizatoarele de text (CountVectorizer, TfidfVectorizer) și OneHotEncoder întorc implicit matrici rare din scipy: păstrează doar valorile diferite de zero, ca să nu ocupe memorie cu milioane de zerouri. Pentru o astfel de matrice, „lungimea” poate însemna două lucruri: numărul de rânduri sau numărul de valori stocate. Ca să nu ghicească, scipy refuză len() și îți spune ce să folosești.
X.shape[0] e numărul de documente (rânduri), X.shape[1] numărul de cuvinte (coloane), iar X.nnz (sau getnnz()) numărul de valori diferite de zero.
Eroarea apare des în cod scris pentru liste sau DataFrame-uri (len(X)), refolosit după vectorizare, inclusiv în funcții proprii de împărțire sau de afișare.
De ce apare: cauzele frecvente
1len() pe rezultatul vectorizatorului
X = TfidfVectorizer().fit_transform(texte)
print("Documente:", len(X))X = TfidfVectorizer().fit_transform(texte)
print("Documente:", X.shape[0])shape[0] e numărul de rânduri, adică de documente.
2Ai vrut numărul de valori nenule
print("Cuvinte gasite:", len(X))print("Valori nenule:", X.nnz)nnz numără valorile stocate în matricea rară.
3Funcție proprie care folosește len
def jumatate(X):
n = len(X)
return X[: n // 2]def jumatate(X):
n = X.shape[0]
return X[: n // 2]X.shape[0] merge și pe liste numpy, și pe DataFrame-uri, și pe matrici rare.
Repară eroarea, direct în pagină
Codul de mai jos dă TypeError: sparse array length is ambiguous, pentru că len() e apelat pe matricea TF-IDF. Folosește forma matricei pentru numărul de documente și de cuvinte, ca programul să le afișeze.
from sklearn.feature_extraction.text import TfidfVectorizer
texte = ["pret bun", "pret mic", "livrare rapida", "pret bun livrare"]
X = TfidfVectorizer().fit_transform(texte)
print("Documente:", len(X))
print("Cuvinte:", X.shape[1])Documente: 4 Cuvinte: 5
Indiciu
Numărul de documente e X.shape[0], iar numărul de cuvinte X.shape[1].
Reparația
from sklearn.feature_extraction.text import TfidfVectorizer
texte = ["pret bun", "pret mic", "livrare rapida", "pret bun livrare"]
X = TfidfVectorizer().fit_transform(texte)
print("Documente:", X.shape[0])
print("Cuvinte:", X.shape[1])De ce merge
TfidfVectorizer întoarce o matrice rară, pentru care len() nu are un sens unic. X.shape dă clar numărul de rânduri (4 documente) și de coloane (5 cuvinte distincte: bun, livrare, mic, pret, rapida). Același cod merge și pentru array-uri numpy și DataFrame-uri.
Alte forme ale mesajului
TypeError: sparse matrix length is ambiguous; use getnnz() or shape[0]
Cum o eviți pe viitor
Folosește X.shape[0] în loc de len(X) în orice cod care poate primi și matrici rare. Afișează type(X) după vectorizare, ca să știi cu ce lucrezi. Dacă ai nevoie de un array dens pentru afișare, folosește X.toarray() doar pe date mici: pe texte reale, matricea densă poate umple memoria.
Întrebări frecvente
De ce vectorizatorul nu întoarce un array obișnuit?
Pentru că pe texte reale, fiecare document conține o parte foarte mică din vocabular. O matrice densă ar fi aproape numai zerouri și ar ocupa enorm de multă memorie.
Merge train_test_split pe matrici rare?
Da, train_test_split și modelele din scikit-learn lucrează direct cu matrici rare. Problema apare doar la funcții Python precum len.
Erori înrudite
TypeError: Sparse data was passed for X, but dense data is required. Use '.toarray()' to convert to a dense numpy array. Modelul (de exemplu GaussianNB, HistGradientBoosting, PCA) acceptă doar tablouri obișnuite, dar a primit o matrice rară (sparse) de la CountVectorizer, TfidfVectorizer sau OneHotEncoder. Convertește cu X.toarray(), setează sparse_output=False la encoder sau alege un model care acceptă matrici rare (MultinomialNB, LogisticRegression). ValueError: Pandas output does not support sparse data. Set sparse_output=False to output pandas dataframes or disable Pandas output via` ohe.set_output(transform="default"). Ai cerut rezultat ca DataFrame (set_output(transform="pandas")), dar OneHotEncoder produce implicit o matrice rară (sparse), pe care pandas nu o acceptă aici. Setează OneHotEncoder(sparse_output=False), sau renunță la ieșirea pandas. ValueError: Iterable over raw text documents expected, string object received. Ai dat vectorizerului (sau unui Pipeline cu vectorizer) un singur text, ca șir, în loc de o listă de texte. Pune textul într-o listă: vec.transform(["mesajul nou"]) sau pipe.predict(["mesajul nou"]). Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
