...
Eroare Machine Learning · Encodere, ColumnTransformer și Pipeline

TypeError: Sparse data was passed for X, but dense data is required. Use '.toarray()' to convert to a dense numpy array.

Pe scurt

Modelul (de exemplu GaussianNB, HistGradientBoosting, PCA) acceptă doar tablouri obișnuite, dar a primit o matrice rară (sparse) de la CountVectorizer, TfidfVectorizer sau OneHotEncoder. Convertește cu X.toarray(), setează sparse_output=False la encoder sau alege un model care acceptă matrici rare (MultinomialNB, LogisticRegression).

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Unele transformere întorc o matrice rară: păstrează doar valorile diferite de 0, ceea ce economisește foarte multă memorie când ai mii de cuvinte sau categorii. CountVectorizer, TfidfVectorizer și OneHotEncoder (implicit) fac asta. Majoritatea modelelor liniare acceptă direct matrici rare, dar altele, ca GaussianNB, HistGradientBoostingClassifier, PCA sau KMeans cu anumite setări, cer un tablou dens, cu toate valorile.

Mesajul îți dă și reparația: .toarray() transformă matricea rară într-un tablou numpy obișnuit. E bine pentru date mici; pe texte reale, tabloul dens poate fi uriaș (număr de documente × număr de cuvinte), deci e mai bine să alegi un model care lucrează cu matrici rare (MultinomialNB, LogisticRegression, LinearSVC) sau, la PCA, TruncatedSVD. Pentru OneHotEncoder într-un Pipeline, sparse_output=False rezolvă direct.

De ce apare: cauzele frecvente

1TF-IDF dat lui GaussianNB

Greșit
PYTHON
X = TfidfVectorizer().fit_transform(texte)
GaussianNB().fit(X, y)
Corect
PYTHON
X = TfidfVectorizer().fit_transform(texte)
MultinomialNB().fit(X, y)

MultinomialNB este făcut pentru numărări și frecvențe de cuvinte și acceptă matrici rare.

2Date mici: conversie la tablou dens

Greșit
PYTHON
GaussianNB().fit(X_sparse, y)
Corect
PYTHON
GaussianNB().fit(X_sparse.toarray(), y)

.toarray() creează tabloul complet. Funcționează bine cât timp datele încap în memorie.

3OneHotEncoder urmat de un model care cere date dense

Greșit
PYTHON
make_pipeline(OneHotEncoder(), HistGradientBoostingClassifier())
Corect
PYTHON
make_pipeline(OneHotEncoder(sparse_output=False), HistGradientBoostingClassifier())

Cu sparse_output=False, encoderul întoarce direct un tablou dens.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă TypeError: Sparse data was passed for X, but dense data is required., pentru că TfidfVectorizer întoarce o matrice rară, iar GaussianNB cere un tablou dens. Repară-l: convertește matricea cu .toarray() (la antrenare și la predicție), ca programul să afișeze predicțiile pentru două mesaje noi.

Codul care dă eroarea
PYTHON
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import GaussianNB

texte = ["castiga bani acum", "premiu gratis castiga", "ne vedem la sedinta", "raportul e gata"]
y = [1, 1, 0, 0]  # 1 = spam

vec = TfidfVectorizer()
X = vec.fit_transform(texte)
model = GaussianNB().fit(X, y)
noi = ["bani gratis", "sedinta de maine"]
print("Predictii:", model.predict(vec.transform(noi)).tolist())
După reparație, programul afișează
Predictii: [1, 0]
Indiciu

model.fit(X.toarray(), y) și vec.transform(noi).toarray().

Alte forme ale mesajului

  • TypeError: A sparse matrix was passed, but dense data is required. Use X.toarray() to convert to a dense numpy array.
  • TypeError: Sparse data was passed for X, but dense data is required. Use '.toarray()' to convert to a dense numpy array. PCA only support sparse inputs with the "arpack" solver

Cum o eviți pe viitor

Când lucrezi cu text sau cu multe categorii, verifică ce acceptă modelul: în documentația scikit-learn, la fit, parametrul X spune {array-like, sparse matrix} dacă merge cu matrici rare. Pentru text, folosește modele liniare sau MultinomialNB. Convertește cu .toarray() doar pe seturi mici.

Întrebări frecvente

Cum îmi dau seama dacă am o matrice rară?

Afișează type(X): dacă vezi scipy.sparse (de exemplu csr_matrix sau csr_array), este rară. print(X) arată și el doar perechi (rând, coloană) cu valori, nu tabelul întreg.

Nu e mai simplu să fac mereu toarray()?

Pe exemple mici, da. Pe 100.000 de documente și 50.000 de cuvinte, tabloul dens ar avea 5 miliarde de valori, mult peste memoria unui laptop. De aceea matricile rare sunt implicite.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.