ValueError: columns are missing: {'oras'}
ColumnTransformer (sau un Pipeline care îl conține) a fost antrenat cu o coloană care lipsește din DataFrame-ul primit la predict sau transform. Verifică numele coloanelor datelor noi: trebuie să existe toate coloanele de la fit, cu aceleași nume.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Un ColumnTransformer antrenat pe un DataFrame își amintește numele coloanelor. La transform (și deci la predict al unui pipeline), caută aceleași coloane după nume în datele noi. Mesajul listează coloanele pe care nu le-a găsit, ca set: aici oras.
Cauze tipice: un nume scris altfel în datele noi („Oras”, „oraș”, „oras ” cu spațiu), datele noi construite de mână cu mai puține câmpuri, un formular sau un API care trimite alte chei, sau o coloană scoasă intenționat înainte de predicție.
Coloanele în plus nu sunt o problemă: transformatorul le ignoră. Contează doar ca toate cele folosite la fit să fie prezente. Coloanele cerute le vezi în model.feature_names_in_.
De ce apare: cauzele frecvente
1Numele scris diferit în datele noi
nou = pd.DataFrame({"Oras": ["Cluj"], "suprafata": [60]})
model.predict(nou)nou = pd.DataFrame({"oras": ["Cluj"], "suprafata": [60]})
model.predict(nou)Numele de coloane se compară exact, inclusiv literele mari și diacriticele.
2Datele noi au mai puține coloane
model.predict(pd.DataFrame({"suprafata": [60]}))model.predict(pd.DataFrame({"oras": ["Cluj"], "suprafata": [60]}))Toate coloanele de la antrenare trebuie trimise. Dacă o valoare lipsește, trimite coloana cu np.nan și lasă un imputer s-o completeze.
3Nume curățate doar la antrenare
train.columns = train.columns.str.strip().str.lower()
# test ramane cu "Oras "def curata(df):
df.columns = df.columns.str.strip().str.lower()
return df
train, test = curata(train), curata(test)Aceeași curățare aplicată peste tot păstrează numele identice.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: columns are missing: {'oras'}, pentru că apartamentul nou are coloana scrisă „Oras”. Scrie numele coloanei exact ca la antrenare, ca programul să afișeze prețul estimat.
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder
df = pd.DataFrame({
"oras": ["Cluj", "Iasi", "Cluj", "Iasi"],
"suprafata": [50, 50, 80, 80],
"pret": [150, 100, 240, 160],
})
prep = ColumnTransformer([("cat", OneHotEncoder(), ["oras"]), ("num", "passthrough", ["suprafata"])])
model = make_pipeline(prep, LinearRegression()).fit(df[["oras", "suprafata"]], df["pret"])
nou = pd.DataFrame({"Oras": ["Cluj"], "suprafata": [60]})
print("Pret estimat (mii lei):", round(float(model.predict(nou)[0])))Pret estimat (mii lei): 182
Indiciu
În DataFrame-ul nou, cheia trebuie să fie "oras".
Reparația
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder
df = pd.DataFrame({
"oras": ["Cluj", "Iasi", "Cluj", "Iasi"],
"suprafata": [50, 50, 80, 80],
"pret": [150, 100, 240, 160],
})
prep = ColumnTransformer([("cat", OneHotEncoder(), ["oras"]), ("num", "passthrough", ["suprafata"])])
model = make_pipeline(prep, LinearRegression()).fit(df[["oras", "suprafata"]], df["pret"])
nou = pd.DataFrame({"oras": ["Cluj"], "suprafata": [60]})
print("Pret estimat (mii lei):", round(float(model.predict(nou)[0])))De ce merge
ColumnTransformer caută coloanele după nume, iar la antrenare a folosit oras și suprafata. Cu numele corect, orașul trece prin OneHotEncoder, suprafața rămâne neschimbată, iar regresia estimează prețul unui apartament de 60 mp din Cluj. Coloanele în plus din datele noi ar fi fost ignorate, dar cele lipsă opresc predicția.
Alte forme ale mesajului
ValueError: columns are missing: {'oras', 'judet'}ValueError: columns are missing: {'suprafață'}
Cum o eviți pe viitor
Salvează lista de coloane împreună cu modelul și verifică datele noi față de ea: set(model.feature_names_in_) - set(nou.columns) trebuie să fie gol. Construiește datele de predicție cu aceeași funcție de pregătire ca la antrenare. La un API, validează câmpurile primite înainte să ajungă la model.
Întrebări frecvente
Contează ordinea coloanelor?
Pentru ColumnTransformer cu nume de coloane, nu: le caută după nume. Pentru un model fără ColumnTransformer, antrenat pe DataFrame, ordinea trebuie să fie aceeași.
La fit am primit „A given column is not a column of the dataframe”. E același lucru?
E aceeași problemă, dar la antrenare: o coloană din lista ColumnTransformer-ului lipsește din datele de antrenare.
Erori înrudite
ValueError: A given column is not a column of the dataframe Ai dat unui ColumnTransformer o listă de coloane în care cel puțin un nume nu există în DataFrame (greșeală de scriere, diacritice, spații, coloană redenumită). Compară lista cu df.columns.tolist() și corectează numele. ValueError: The feature names should match those that were passed during fit. Modelul a fost antrenat pe un DataFrame cu anumite coloane, iar la predict primește coloane cu alte nume sau în altă ordine. Construiește datele noi cu exact aceleași nume de coloane, în aceeași ordine, de exemplu cu X_nou[model.feature_names_in_]. ValueError: Specifying the columns using strings is only supported for dataframes. ColumnTransformer are coloanele date după nume ("varsta", "oras"), dar a primit un tablou numpy, care nu are nume de coloane. Dă-i DataFrame-ul (df, nu df.values sau df.to_numpy()), sau, dacă lucrezi cu numpy, indică coloanele prin poziție: [0, 2]. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
