...
Eroare Machine Learning · Encodere, ColumnTransformer și Pipeline

ValueError: fill_value='lipsa' (of type <class 'str'>) cannot be cast to the input data that is dtype('float64'). If fill_value is a Python scalar, instead pass a numpy scalar (e.g. fill_value=np.uint8(0) if your data is of type np.uint8). Make sure that both dtypes are of the same kind.

Pe scurt

Ai pus `SimpleImputer(strategy="constant", fill_value="lipsa")` pe coloane numerice: un text nu poate completa o coloană de numere. Folosește imputere separate în `ColumnTransformer`: pentru numere `strategy="median"` (sau un `fill_value` numeric), pentru text `fill_value="lipsa"`.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Cu strategy="constant", SimpleImputer pune fill_value în locul fiecărei valori lipsă. Valoarea trebuie să aibă același fel de tip ca datele: număr pentru coloane numerice, text pentru coloane text. Mesajul îți spune ce valoare ai dat ('lipsa', de tip str) și tipul datelor (float64), și că una nu se poate converti în cealaltă.

Apare tipic când aplici același imputer pe tot tabelul, deși ai și coloane numerice, și coloane categorice, sau când în ColumnTransformer ai pus imputerul pentru text în pasul greșit. Partea despre np.uint8 contează doar la date cu tipuri numerice speciale; pentru cazul obișnuit, ideea e simplă: text pe coloane text, număr pe coloane numerice.

În versiunile mai vechi mesajul era ValueError: 'fill_value'=lipsa is invalid. Expected a numerical value when imputing numerical data.

De ce apare: cauzele frecvente

1Text folosit pentru coloane numerice

Greșit
PYTHON
SimpleImputer(strategy="constant", fill_value="lipsa").fit(df[["venit"]])
Corect
PYTHON
SimpleImputer(strategy="median").fit(df[["venit"]])

Pentru numere, mediana (sau media) e o completare care păstrează tipul coloanei.

2Același imputer pe tot tabelul

Greșit
PYTHON
SimpleImputer(strategy="constant", fill_value="lipsa").fit(df)
Corect
PYTHON
ColumnTransformer([
    ("num", SimpleImputer(strategy="median"), ["venit"]),
    ("cat", SimpleImputer(strategy="constant", fill_value="lipsa"), ["oras"]),
])

Fiecare tip de coloană primește completarea potrivită lui.

3Constantă numerică scrisă ca text

Greșit
PYTHON
SimpleImputer(strategy="constant", fill_value="0")
Corect
PYTHON
SimpleImputer(strategy="constant", fill_value=0)

"0" este text; 0 este număr și poate fi pus într-o coloană float64.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: fill_value='lipsa' ... cannot be cast to the input data that is dtype('float64'), pentru că imputerul pentru text e aplicat pe coloanele numerice. Pune pe coloanele numerice un SimpleImputer(strategy="median"), ca programul să afișeze tabelul completat.

Codul care dă eroarea
PYTHON
import numpy as np
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer

df = pd.DataFrame({
    "varsta": [25, np.nan, 40, 35],
    "venit": [3000, 4000, np.nan, 5000],
    "oras": ["Cluj", None, "Iasi", "Cluj"],
})

prep = ColumnTransformer([
    ("num", SimpleImputer(strategy="constant", fill_value="lipsa"), ["varsta", "venit"]),
    ("cat", SimpleImputer(strategy="constant", fill_value="lipsa"), ["oras"]),
])
Z = prep.fit_transform(df)
for rand in Z:
    print([str(v) for v in rand])
După reparație, programul afișează
['25.0', '3000.0', 'Cluj']
['35.0', '4000.0', 'lipsa']
['40.0', '4000.0', 'Iasi']
['35.0', '5000.0', 'Cluj']
Indiciu

Pasul num trebuie să folosească SimpleImputer(strategy="median").

Alte forme ale mesajului

  • ValueError: 'fill_value'=lipsa is invalid. Expected a numerical value when imputing numerical data
  • ValueError: fill_value='necunoscut' (of type <class 'str'>) cannot be cast to the input data that is dtype('int64').

Cum o eviți pe viitor

Separă de la început coloanele numerice și cele categorice în două liste și construiește pentru fiecare un pipeline propriu (imputer + scaler, respectiv imputer + encoder), legate cu ColumnTransformer. Pentru text, fill_value="lipsa" devine o categorie în plus, pe care OneHotEncoder o tratează normal. Pentru numere, preferă median, care nu e influențată de valorile extreme.

Întrebări frecvente

Ce fill_value se folosește dacă nu dau unul?

Cu strategy="constant", implicit e 0 pentru date numerice și "missing_value" pentru text sau obiecte.

E bine să completez numere cu 0?

Doar dacă 0 are sens (de exemplu „nicio comandă”). Altfel, mediana e mai sigură, iar add_indicator=True adaugă o coloană care spune modelului unde lipsea valoarea.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.