ValueError: fill_value='lipsa' (of type <class 'str'>) cannot be cast to the input data that is dtype('float64'). If fill_value is a Python scalar, instead pass a numpy scalar (e.g. fill_value=np.uint8(0) if your data is of type np.uint8). Make sure that both dtypes are of the same kind.
Ai pus `SimpleImputer(strategy="constant", fill_value="lipsa")` pe coloane numerice: un text nu poate completa o coloană de numere. Folosește imputere separate în `ColumnTransformer`: pentru numere `strategy="median"` (sau un `fill_value` numeric), pentru text `fill_value="lipsa"`.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Cu strategy="constant", SimpleImputer pune fill_value în locul fiecărei valori lipsă. Valoarea trebuie să aibă același fel de tip ca datele: număr pentru coloane numerice, text pentru coloane text. Mesajul îți spune ce valoare ai dat ('lipsa', de tip str) și tipul datelor (float64), și că una nu se poate converti în cealaltă.
Apare tipic când aplici același imputer pe tot tabelul, deși ai și coloane numerice, și coloane categorice, sau când în ColumnTransformer ai pus imputerul pentru text în pasul greșit. Partea despre np.uint8 contează doar la date cu tipuri numerice speciale; pentru cazul obișnuit, ideea e simplă: text pe coloane text, număr pe coloane numerice.
În versiunile mai vechi mesajul era ValueError: 'fill_value'=lipsa is invalid. Expected a numerical value when imputing numerical data.
De ce apare: cauzele frecvente
1Text folosit pentru coloane numerice
SimpleImputer(strategy="constant", fill_value="lipsa").fit(df[["venit"]])SimpleImputer(strategy="median").fit(df[["venit"]])Pentru numere, mediana (sau media) e o completare care păstrează tipul coloanei.
2Același imputer pe tot tabelul
SimpleImputer(strategy="constant", fill_value="lipsa").fit(df)ColumnTransformer([
("num", SimpleImputer(strategy="median"), ["venit"]),
("cat", SimpleImputer(strategy="constant", fill_value="lipsa"), ["oras"]),
])Fiecare tip de coloană primește completarea potrivită lui.
3Constantă numerică scrisă ca text
SimpleImputer(strategy="constant", fill_value="0")SimpleImputer(strategy="constant", fill_value=0)"0" este text; 0 este număr și poate fi pus într-o coloană float64.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: fill_value='lipsa' ... cannot be cast to the input data that is dtype('float64'), pentru că imputerul pentru text e aplicat pe coloanele numerice. Pune pe coloanele numerice un SimpleImputer(strategy="median"), ca programul să afișeze tabelul completat.
import numpy as np
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
df = pd.DataFrame({
"varsta": [25, np.nan, 40, 35],
"venit": [3000, 4000, np.nan, 5000],
"oras": ["Cluj", None, "Iasi", "Cluj"],
})
prep = ColumnTransformer([
("num", SimpleImputer(strategy="constant", fill_value="lipsa"), ["varsta", "venit"]),
("cat", SimpleImputer(strategy="constant", fill_value="lipsa"), ["oras"]),
])
Z = prep.fit_transform(df)
for rand in Z:
print([str(v) for v in rand])['25.0', '3000.0', 'Cluj'] ['35.0', '4000.0', 'lipsa'] ['40.0', '4000.0', 'Iasi'] ['35.0', '5000.0', 'Cluj']
Indiciu
Pasul num trebuie să folosească SimpleImputer(strategy="median").
Reparația
import numpy as np
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
df = pd.DataFrame({
"varsta": [25, np.nan, 40, 35],
"venit": [3000, 4000, np.nan, 5000],
"oras": ["Cluj", None, "Iasi", "Cluj"],
})
prep = ColumnTransformer([
("num", SimpleImputer(strategy="median"), ["varsta", "venit"]),
("cat", SimpleImputer(strategy="constant", fill_value="lipsa"), ["oras"]),
])
Z = prep.fit_transform(df)
for rand in Z:
print([str(v) for v in rand])De ce merge
Pe coloanele numerice, mediana completează vârsta lipsă cu 35 și venitul lipsă cu 4000, deci coloanele rămân numerice. Pe coloana oras, textul "lipsa" devine o categorie separată. Fiecare imputer primește doar coloanele de tipul potrivit, așa că nicio conversie imposibilă nu mai e necesară.
Alte forme ale mesajului
ValueError: 'fill_value'=lipsa is invalid. Expected a numerical value when imputing numerical dataValueError: fill_value='necunoscut' (of type <class 'str'>) cannot be cast to the input data that is dtype('int64').
Cum o eviți pe viitor
Separă de la început coloanele numerice și cele categorice în două liste și construiește pentru fiecare un pipeline propriu (imputer + scaler, respectiv imputer + encoder), legate cu ColumnTransformer. Pentru text, fill_value="lipsa" devine o categorie în plus, pe care OneHotEncoder o tratează normal. Pentru numere, preferă median, care nu e influențată de valorile extreme.
Întrebări frecvente
Ce fill_value se folosește dacă nu dau unul?
Cu strategy="constant", implicit e 0 pentru date numerice și "missing_value" pentru text sau obiecte.
E bine să completez numere cu 0?
Doar dacă 0 are sens (de exemplu „nicio comandă”). Altfel, mediana e mai sigură, iar add_indicator=True adaugă o coloană care spune modelului unde lipsea valoarea.
Erori înrudite
ValueError: Cannot use mean strategy with non-numeric data: Ai cerut unui SimpleImputer să completeze cu media o coloană care conține text. Media se poate calcula doar pe numere: folosește strategy="mean" sau "median" doar pe coloanele numerice și strategy="most_frequent" (sau "constant") pe cele cu text. ValueError: Input X contains NaN. Datele de intrare X au cel puțin o valoare lipsă (NaN), iar modelul nu știe să lucreze cu ea. Completează golurile înainte de fit (de exemplu cu fillna sau SimpleImputer) sau elimină rândurile incomplete cu dropna. ValueError: No valid specification of the columns. Only a scalar, list or slice of all integers or all strings, or boolean mask is allowed Lista de coloane dată unui pas din `ColumnTransformer` amestecă nume (text) cu poziții (numere), de exemplu `["varsta", 2]`, sau are un tip pe care scikit-learn nu-l acceptă. Folosește ori doar nume de coloane, ori doar poziții, în fiecare listă. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
