ValueError: Pandas output does not support sparse data. Set sparse_output=False to output pandas dataframes or disable Pandas output via` ohe.set_output(transform="default").
Ai cerut rezultat ca DataFrame (set_output(transform="pandas")), dar OneHotEncoder produce implicit o matrice rară (sparse), pe care pandas nu o acceptă aici. Setează OneHotEncoder(sparse_output=False), sau renunță la ieșirea pandas.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
set_output(transform="pandas") (sau sklearn.set_config(transform_output="pandas")) le cere transformatoarelor să întoarcă DataFrame-uri cu nume de coloane, în loc de array-uri numpy. E foarte util ca să vezi coloanele rezultate (oras_Cluj, oras_Iasi).
Problema: OneHotEncoder întoarce implicit o matrice rară din scipy, care păstrează doar valorile diferite de zero și economisește memorie când ai multe categorii. Ieșirea pandas nu suportă matrici rare, așa că primești eroarea, chiar cu sugestia de reparare în mesaj (inclusiv un mic semn în plus, „via`”, care vine din biblioteca însăși).
Aceeași problemă apare într-un ColumnTransformer cu ieșire pandas, dacă rezultatul combinat ar fi rar.
De ce apare: cauzele frecvente
1OneHotEncoder cu ieșire pandas
OneHotEncoder().set_output(transform="pandas")OneHotEncoder(sparse_output=False).set_output(transform="pandas")Cu sparse_output=False, encoderul produce un array dens, pe care îl poate transforma în DataFrame.
2Configurare globală pandas
sklearn.set_config(transform_output="pandas")
ColumnTransformer([("cat", OneHotEncoder(), ["oras"])])sklearn.set_config(transform_output="pandas")
ColumnTransformer([("cat", OneHotEncoder(sparse_output=False), ["oras"])])Configurarea globală se aplică tuturor transformatoarelor, deci fiecare encoder trebuie să producă date dense.
3Ai multe categorii și vrei să păstrezi matricea rară
enc = OneHotEncoder().set_output(transform="pandas")enc = OneHotEncoder()
X = enc.fit_transform(df[["produs"]])
print(enc.get_feature_names_out())Fără ieșire pandas păstrezi matricea rară, iar numele coloanelor le iei cu get_feature_names_out().
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: Pandas output does not support sparse data. Encoderul trebuie să întoarcă un DataFrame, dar produce implicit o matrice rară. Fă-l să producă date dense, ca programul să afișeze coloanele și primul rând.
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
df = pd.DataFrame({"oras": ["Cluj", "Iasi", "Arad", "Cluj"]})
enc = OneHotEncoder().set_output(transform="pandas")
rez = enc.fit_transform(df)
print("Coloane:", list(rez.columns))
print("Primul rand:", rez.iloc[0].astype(int).tolist())Coloane: ['oras_Arad', 'oras_Cluj', 'oras_Iasi'] Primul rand: [0, 1, 0]
Indiciu
Adaugă sparse_output=False la OneHotEncoder.
Reparația
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
df = pd.DataFrame({"oras": ["Cluj", "Iasi", "Arad", "Cluj"]})
enc = OneHotEncoder(sparse_output=False).set_output(transform="pandas")
rez = enc.fit_transform(df)
print("Coloane:", list(rez.columns))
print("Primul rand:", rez.iloc[0].astype(int).tolist())De ce merge
Cu sparse_output=False, encoderul produce un array dens, pe care ieșirea pandas îl transformă într-un DataFrame cu nume de coloane. Fiecare oraș devine o coloană oras_<Oras>, în ordine alfabetică, iar primul rând (Cluj) are 1 doar pe coloana oras_Cluj.
Alte forme ale mesajului
ValueError: Pandas output does not support sparse data. Set sparse_output=False to output pandas DataFrames or disable pandas output via `ohe.set_output(transform="default")`.
Cum o eviți pe viitor
Când folosești ieșirea pandas, setează sparse_output=False la toate encoderele de la început. Pentru coloane cu foarte multe categorii (mii de produse, coduri poștale), păstrează matricea rară și ieșirea implicită, ca să nu umpli memoria cu zerouri. Numele coloanelor le ai oricum prin get_feature_names_out().
Întrebări frecvente
E sparse_output la fel cu vechiul sparse?
Da, sparse a fost redenumit sparse_output în scikit-learn 1.2, iar numele vechi a dispărut în 1.4.
Merită să folosesc set_output(transform="pandas")?
Da, mai ales la explorare și depanare: vezi exact ce coloane intră în model. Pentru date foarte mari, ieșirea numpy e mai rapidă.
Erori înrudite
TypeError: OneHotEncoder.__init__() got an unexpected keyword argument 'sparse' Parametrul sparse al lui OneHotEncoder a fost redenumit sparse_output în scikit-learn 1.2 și eliminat în 1.4. Codul vine dintr-un tutorial mai vechi. Scrie OneHotEncoder(sparse_output=False). TypeError: Sparse data was passed for X, but dense data is required. Use '.toarray()' to convert to a dense numpy array. Modelul (de exemplu GaussianNB, HistGradientBoosting, PCA) acceptă doar tablouri obișnuite, dar a primit o matrice rară (sparse) de la CountVectorizer, TfidfVectorizer sau OneHotEncoder. Convertește cu X.toarray(), setează sparse_output=False la encoder sau alege un model care acceptă matrici rare (MultinomialNB, LogisticRegression). ValueError: Found unknown categories ['Iasi'] in column 0 during transform OneHotEncoder a văzut la fit doar anumite categorii, iar la transform (pe test sau pe date noi) apare una nouă, aici 'Iasi'. Creează encoderul cu handle_unknown='ignore', ca valorile noi să devină un rând de zerouri, sau antrenează-l pe date care conțin toate categoriile. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
