ValueError: A given column is not a column of the dataframe
Ai dat unui ColumnTransformer o listă de coloane în care cel puțin un nume nu există în DataFrame (greșeală de scriere, diacritice, spații, coloană redenumită). Compară lista cu df.columns.tolist() și corectează numele.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
ColumnTransformer selectează coloanele după nume și aplică pe fiecare grup transformarea lui (de exemplu scalare pe numerice, codificare pe categorice). Dacă un nume din listă nu se găsește în DataFrame, primești mesajul acesta la fit. Mesajul nu spune care coloană lipsește, dar în traceback, chiar deasupra, apare de obicei un KeyError cu numele exact.
Cauze frecvente: diacritice ("suprafață" vs "suprafata"), majuscule ("Oras" vs "oras"), spații ascunse venite din antetul unui CSV ("pret "), o coloană redenumită sau eliminată mai devreme în cod, ori ai dat transformerului ținta, deși ai scos-o deja din X. Afișează X.columns.tolist() și compară caracter cu caracter.
De ce apare: cauzele frecvente
1Diacritice în numele coloanei
ct = ColumnTransformer([("num", StandardScaler(), ["suprafață"])])
ct.fit(df)ct = ColumnTransformer([("num", StandardScaler(), ["suprafata"])])
ct.fit(df)Numele trebuie să fie identic cu cel din df.columns, inclusiv diacriticele.
2Spații ascunse din CSV
df = pd.read_csv("apartamente.csv") # antet: "pret , oras"
ColumnTransformer([("num", StandardScaler(), ["pret"])]).fit(df)df = pd.read_csv("apartamente.csv")
df.columns = df.columns.str.strip()
ColumnTransformer([("num", StandardScaler(), ["pret"])]).fit(df)str.strip() elimină spațiile din jurul numelor de coloane, iar "pret" devine găsit.
3Ținta trecută ca și caracteristică
X = df.drop(columns=["pret"])
ColumnTransformer([("num", StandardScaler(), ["suprafata", "pret"])]).fit(X)X = df.drop(columns=["pret"])
ColumnTransformer([("num", StandardScaler(), ["suprafata"])]).fit(X)După drop, X nu mai are coloana pret; lista transformerului trebuie să conțină doar caracteristici.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: A given column is not a column of the dataframe, pentru că lista coloanelor numerice conține "suprafață", cu diacritice, iar în tabel coloana se numește suprafata. Repară numele, ca programul să afișeze câte coloane produce transformarea.
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
df = pd.DataFrame({
"suprafata": [50, 65, 80, 45],
"camere": [2, 3, 3, 1],
"oras": ["Cluj", "Iasi", "Cluj", "Brasov"],
})
ct = ColumnTransformer([
("num", StandardScaler(), ["suprafață", "camere"]),
("cat", OneHotEncoder(handle_unknown="ignore"), ["oras"]),
])
rez = ct.fit_transform(df)
print("Coloane rezultate:", rez.shape[1])Coloane rezultate: 5
Indiciu
Coloana din tabel este "suprafata", fără diacritice.
Reparația
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
df = pd.DataFrame({
"suprafata": [50, 65, 80, 45],
"camere": [2, 3, 3, 1],
"oras": ["Cluj", "Iasi", "Cluj", "Brasov"],
})
ct = ColumnTransformer([
("num", StandardScaler(), ["suprafata", "camere"]),
("cat", OneHotEncoder(handle_unknown="ignore"), ["oras"]),
])
rez = ct.fit_transform(df)
print("Coloane rezultate:", rez.shape[1])De ce merge
ColumnTransformer caută coloanele exact după nume, iar "suprafață" și "suprafata" sunt șiruri diferite, deci nu găsește coloana și se oprește. Cu numele corect, scaler-ul primește suprafața și numărul de camere (2 coloane), iar encoderul transformă orașul în 3 coloane 0/1 (Brasov, Cluj, Iasi). Rezultatul are 5 coloane, gata de dat unui model.
Alte forme ale mesajului
KeyError: "None of [Index(['suprafață'], dtype='object')] are in the [columns]"
Cum o eviți pe viitor
Definește listele de coloane o singură dată, la începutul codului (numerice = [...], categorice = [...]), și construiește X din ele: X = df[numerice + categorice]. Așa, o greșeală de scriere dă eroare imediat, la selecție. Folosește nume de coloane fără diacritice și fără spații, și curăță antetul la citirea CSV-ului.
Întrebări frecvente
Cum aflu ce coloană lipsește?
Uită-te în traceback, deasupra mesajului: de obicei apare un KeyError cu numele coloanei. Sau calculează set(lista) - set(df.columns).
Pot da ColumnTransformer-ului indici în loc de nume?
Da, de exemplu [0, 2], dar numele sunt mai sigure: indicii se strică fără nicio eroare când schimbi ordinea coloanelor.
Erori înrudite
TypeError: All intermediate steps should be transformers and implement fit and transform or be the string 'passthrough' 'LogisticRegression()' (type <class 'sklearn.linear_model._logistic.LogisticRegression'>) doesn't Într-un Pipeline, toți pașii în afară de ultimul trebuie să fie transformatori (scaler, encoder, imputer), iar modelul trebuie să fie ultimul. Aici modelul a fost pus înaintea scaler-ului. Mută modelul la final: Pipeline([('scaler', StandardScaler()), ('model', LogisticRegression())]). ValueError: The feature names should match those that were passed during fit. Modelul a fost antrenat pe un DataFrame cu anumite coloane, iar la predict primește coloane cu alte nume sau în altă ordine. Construiește datele noi cu exact aceleași nume de coloane, în aceeași ordine, de exemplu cu X_nou[model.feature_names_in_]. ValueError: Found unknown categories ['Iasi'] in column 0 during transform OneHotEncoder a văzut la fit doar anumite categorii, iar la transform (pe test sau pe date noi) apare una nouă, aici 'Iasi'. Creează encoderul cu handle_unknown='ignore', ca valorile noi să devină un rând de zerouri, sau antrenează-l pe date care conțin toate categoriile. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
