ValueError: Cannot center sparse matrices: pass `with_mean=False` instead. See docstring for motivation and alternatives.
StandardScaler încearcă să scadă media din fiecare coloană, dar pe o matrice rară (de la TfidfVectorizer, CountVectorizer, OneHotEncoder) asta ar transforma toate zerourile în valori nenule. Folosește StandardScaler(with_mean=False) sau MaxAbsScaler, ori renunță la scalare pentru TF-IDF.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Standardizarea are doi pași: scade media (centrare) și împarte la deviația standard. O matrice rară e eficientă doar pentru că aproape toate valorile ei sunt 0; după ce scazi media, zerourile ar deveni -media, deci matricea n-ar mai fi rară și ar putea umple memoria. Ca să nu se întâmple asta pe ascuns, StandardScaler refuză și îți spune ce să faci: with_mean=False, adică doar împărțirea la deviația standard.
Situația apare în pipeline-uri de text (TfidfVectorizer urmat de StandardScaler) sau cu OneHotEncoder urmat de scalare pe tot tabelul. La TF-IDF, valorile sunt deja normalizate pe fiecare document, deci de obicei nu ai nevoie de scaler. Dacă vrei totuși valori pe aceeași scară, MaxAbsScaler împarte la maximul absolut și păstrează zerourile.
De ce apare: cauzele frecvente
1StandardScaler după TF-IDF
pipe = make_pipeline(TfidfVectorizer(), StandardScaler(), LogisticRegression())pipe = make_pipeline(TfidfVectorizer(), StandardScaler(with_mean=False), LogisticRegression())Fără centrare, scalerul doar împarte fiecare coloană, iar zerourile rămân zerouri.
2Scaler care păstrează matricea rară
StandardScaler().fit_transform(X_onehot)MaxAbsScaler().fit_transform(X_onehot)MaxAbsScaler aduce valorile în [-1, 1] împărțind la maximul absolut, fără să atingă zerourile.
3Scalare doar pe coloanele numerice
make_pipeline(ColumnTransformer([("cat", OneHotEncoder(), ["oras"])], remainder="passthrough"), StandardScaler())ColumnTransformer([
("cat", OneHotEncoder(), ["oras"]),
("num", StandardScaler(), ["venit"]),
])Coloanele 0/1 din OneHotEncoder nu au nevoie de standardizare. Scalează doar coloanele numerice, în ColumnTransformer.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: Cannot center sparse matrices: pass with_mean=False instead., pentru că StandardScaler primește matricea rară de la TfidfVectorizer. Repară scalerul, ca să nu mai centreze datele, iar programul să afișeze predicțiile pentru două recenzii noi.
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
recenzii = ["foarte bun recomand", "excelent si rapid", "prost nu recomand", "slab si lent", "bun si rapid", "lent si prost"]
y = [1, 1, 0, 0, 1, 0]
pipe = make_pipeline(TfidfVectorizer(), StandardScaler(), LogisticRegression())
pipe.fit(recenzii, y)
print("Predictii:", pipe.predict(["rapid si bun", "lent si slab"]).tolist())Predictii: [1, 0]
Indiciu
Folosește StandardScaler(with_mean=False).
Reparația
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
recenzii = ["foarte bun recomand", "excelent si rapid", "prost nu recomand", "slab si lent", "bun si rapid", "lent si prost"]
y = [1, 1, 0, 0, 1, 0]
pipe = make_pipeline(TfidfVectorizer(), StandardScaler(with_mean=False), LogisticRegression())
pipe.fit(recenzii, y)
print("Predictii:", pipe.predict(["rapid si bun", "lent si slab"]).tolist())De ce merge
Matricea TF-IDF e rară: aproape toate valorile sunt 0. Centrarea ar scădea media din fiecare coloană și ar transforma zerourile în valori negative, deci matricea n-ar mai fi rară. Cu with_mean=False, scalerul doar împarte fiecare coloană la deviația ei standard și păstrează zerourile. Modelul învață că rapid și bun apar în recenziile pozitive, iar lent în cele negative.
Cum o eviți pe viitor
Când lucrezi cu text sau multe categorii, ține minte că datele sunt rare și alege pașii potriviți: fără scalare după TF-IDF, MaxAbsScaler sau StandardScaler(with_mean=False) dacă chiar ai nevoie. Scalează numeric doar coloanele numerice, într-un ColumnTransformer. Verifică tipul cu scipy.sparse.issparse(X) când nu știi ce întoarce un pas.
Întrebări frecvente
Pierd ceva dacă folosesc with_mean=False?
Coloanele nu mai au media 0, dar au deviația standard 1. Pentru modelele liniare cu regularizare, contează mai ales scara, deci de obicei e suficient.
Pot face toarray() și apoi StandardScaler normal?
Pe date mici, da. Pe texte reale, tabloul dens poate fi prea mare pentru memorie, de aceea mesajul îți propune with_mean=False.
Erori înrudite
TypeError: Sparse data was passed for X, but dense data is required. Use '.toarray()' to convert to a dense numpy array. Modelul (de exemplu GaussianNB, HistGradientBoosting, PCA) acceptă doar tablouri obișnuite, dar a primit o matrice rară (sparse) de la CountVectorizer, TfidfVectorizer sau OneHotEncoder. Convertește cu X.toarray(), setează sparse_output=False la encoder sau alege un model care acceptă matrici rare (MultinomialNB, LogisticRegression). ConvergenceWarning: lbfgs failed to converge after 100 iteration(s) (status=1): STOP: TOTAL NO. OF ITERATIONS REACHED LIMIT Algoritmul de optimizare al regresiei logistice (lbfgs) s-a oprit la limita de iterații înainte să găsească soluția. E un avertisment, modelul tot e antrenat, dar poate fi slab. Scalează datele cu StandardScaler și, dacă e nevoie, mărește max_iter (de exemplu 1000). ValueError: empty vocabulary; perhaps the documents only contain stop words CountVectorizer sau TfidfVectorizer n-a găsit niciun cuvânt în texte: toate au fost goale, eliminate ca stop words sau prea scurte (implicit, un cuvânt are minimum 2 caractere). Afișează textele exact cum ajung la vectorizer și verifică curățarea, stop_words și token_pattern. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
