...
Eroare Machine Learning · Encodere, ColumnTransformer și Pipeline

ValueError: Cannot center sparse matrices: pass `with_mean=False` instead. See docstring for motivation and alternatives.

Pe scurt

StandardScaler încearcă să scadă media din fiecare coloană, dar pe o matrice rară (de la TfidfVectorizer, CountVectorizer, OneHotEncoder) asta ar transforma toate zerourile în valori nenule. Folosește StandardScaler(with_mean=False) sau MaxAbsScaler, ori renunță la scalare pentru TF-IDF.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Standardizarea are doi pași: scade media (centrare) și împarte la deviația standard. O matrice rară e eficientă doar pentru că aproape toate valorile ei sunt 0; după ce scazi media, zerourile ar deveni -media, deci matricea n-ar mai fi rară și ar putea umple memoria. Ca să nu se întâmple asta pe ascuns, StandardScaler refuză și îți spune ce să faci: with_mean=False, adică doar împărțirea la deviația standard.

Situația apare în pipeline-uri de text (TfidfVectorizer urmat de StandardScaler) sau cu OneHotEncoder urmat de scalare pe tot tabelul. La TF-IDF, valorile sunt deja normalizate pe fiecare document, deci de obicei nu ai nevoie de scaler. Dacă vrei totuși valori pe aceeași scară, MaxAbsScaler împarte la maximul absolut și păstrează zerourile.

De ce apare: cauzele frecvente

1StandardScaler după TF-IDF

Greșit
PYTHON
pipe = make_pipeline(TfidfVectorizer(), StandardScaler(), LogisticRegression())
Corect
PYTHON
pipe = make_pipeline(TfidfVectorizer(), StandardScaler(with_mean=False), LogisticRegression())

Fără centrare, scalerul doar împarte fiecare coloană, iar zerourile rămân zerouri.

2Scaler care păstrează matricea rară

Greșit
PYTHON
StandardScaler().fit_transform(X_onehot)
Corect
PYTHON
MaxAbsScaler().fit_transform(X_onehot)

MaxAbsScaler aduce valorile în [-1, 1] împărțind la maximul absolut, fără să atingă zerourile.

3Scalare doar pe coloanele numerice

Greșit
PYTHON
make_pipeline(ColumnTransformer([("cat", OneHotEncoder(), ["oras"])], remainder="passthrough"), StandardScaler())
Corect
PYTHON
ColumnTransformer([
    ("cat", OneHotEncoder(), ["oras"]),
    ("num", StandardScaler(), ["venit"]),
])

Coloanele 0/1 din OneHotEncoder nu au nevoie de standardizare. Scalează doar coloanele numerice, în ColumnTransformer.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: Cannot center sparse matrices: pass with_mean=False instead., pentru că StandardScaler primește matricea rară de la TfidfVectorizer. Repară scalerul, ca să nu mai centreze datele, iar programul să afișeze predicțiile pentru două recenzii noi.

Codul care dă eroarea
PYTHON
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

recenzii = ["foarte bun recomand", "excelent si rapid", "prost nu recomand", "slab si lent", "bun si rapid", "lent si prost"]
y = [1, 1, 0, 0, 1, 0]

pipe = make_pipeline(TfidfVectorizer(), StandardScaler(), LogisticRegression())
pipe.fit(recenzii, y)
print("Predictii:", pipe.predict(["rapid si bun", "lent si slab"]).tolist())
După reparație, programul afișează
Predictii: [1, 0]
Indiciu

Folosește StandardScaler(with_mean=False).

Cum o eviți pe viitor

Când lucrezi cu text sau multe categorii, ține minte că datele sunt rare și alege pașii potriviți: fără scalare după TF-IDF, MaxAbsScaler sau StandardScaler(with_mean=False) dacă chiar ai nevoie. Scalează numeric doar coloanele numerice, într-un ColumnTransformer. Verifică tipul cu scipy.sparse.issparse(X) când nu știi ce întoarce un pas.

Întrebări frecvente

Pierd ceva dacă folosesc with_mean=False?

Coloanele nu mai au media 0, dar au deviația standard 1. Pentru modelele liniare cu regularizare, contează mai ales scara, deci de obicei e suficient.

Pot face toarray() și apoi StandardScaler normal?

Pe date mici, da. Pe texte reale, tabloul dens poate fi prea mare pentru memorie, de aceea mesajul îți propune with_mean=False.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.