ValueError: No valid specification of the columns. Only a scalar, list or slice of all integers or all strings, or boolean mask is allowed
Lista de coloane dată unui pas din `ColumnTransformer` amestecă nume (text) cu poziții (numere), de exemplu `["varsta", 2]`, sau are un tip pe care scikit-learn nu-l acceptă. Folosește ori doar nume de coloane, ori doar poziții, în fiecare listă.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
În ColumnTransformer([(nume, transformator, coloane), ...]), al treilea element spune pe ce coloane lucrează pasul. Sunt permise: un singur nume sau număr, o listă doar de nume, o listă doar de numere întregi, un slice sau o mască booleană. Mesajul spune că specificația ta nu se încadrează în niciuna, de obicei pentru că lista e amestecată.
Se întâmplă când construiești listele de mână și scrii unele coloane după nume și altele după poziție, când un nume de coloană e de fapt număr (coloanele unui DataFrame creat fără nume sunt 0, 1, 2) amestecat cu nume text, sau când dai un tuplu de tupluri ori o listă de liste. Verifică fiecare listă cu print([type(c) for c in coloane]).
De ce apare: cauzele frecvente
1Nume și poziții în aceeași listă
ColumnTransformer([("num", StandardScaler(), ["varsta", 2])])ColumnTransformer([("num", StandardScaler(), ["varsta", "venit"])])Într-o listă, toate elementele trebuie să fie de același fel; cu nume, codul rămâne corect și dacă se schimbă ordinea coloanelor.
2Listă de liste în loc de listă simplă
ColumnTransformer([("cat", OneHotEncoder(), [["oras"], ["tip"]])])ColumnTransformer([("cat", OneHotEncoder(), ["oras", "tip"])])Coloanele se dau ca o listă simplă de nume, nu grupate în liste interioare.
3Coloane alese automat
coloane = ["oras", df.columns.get_loc("tip")]from sklearn.compose import make_column_selector
ColumnTransformer([("cat", OneHotEncoder(), make_column_selector(dtype_include=object))])make_column_selector alege coloanele după tip, fără să amesteci nume și poziții.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: No valid specification of the columns..., pentru că lista de coloane numerice amestecă un nume ("suprafata") cu o poziție (1). Scrie ambele coloane după nume, ca programul să afișeze câte coloane ies din transformare și numele lor.
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
df = pd.DataFrame({
"suprafata": [40, 55, 70, 90],
"camere": [1, 2, 3, 4],
"oras": ["Cluj", "Iasi", "Cluj", "Brasov"],
})
prep = ColumnTransformer([
("num", StandardScaler(), ["suprafata", 1]),
("cat", OneHotEncoder(), ["oras"]),
])
Z = prep.fit_transform(df)
print("Coloane:", Z.shape[1])
print([str(n) for n in prep.get_feature_names_out()])Coloane: 5 ['num__suprafata', 'num__camere', 'cat__oras_Brasov', 'cat__oras_Cluj', 'cat__oras_Iasi']
Indiciu
Coloana de pe poziția 1 se numește "camere".
Reparația
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
df = pd.DataFrame({
"suprafata": [40, 55, 70, 90],
"camere": [1, 2, 3, 4],
"oras": ["Cluj", "Iasi", "Cluj", "Brasov"],
})
prep = ColumnTransformer([
("num", StandardScaler(), ["suprafata", "camere"]),
("cat", OneHotEncoder(), ["oras"]),
])
Z = prep.fit_transform(df)
print("Coloane:", Z.shape[1])
print([str(n) for n in prep.get_feature_names_out()])De ce merge
Cu ambele coloane date după nume, lista e de un singur fel și ColumnTransformer o acceptă. Pasul num scalează suprafața și numărul de camere, iar cat face câte o coloană 0/1 pentru fiecare dintre cele trei orașe, deci rezultatul are 5 coloane, cu nume prefixate de pasul din care vin.
Alte forme ale mesajului
ValueError: No valid specification of the columns. Only a scalar, list or slice of all integers or all strings, or boolean mask is allowed
Cum o eviți pe viitor
Lucrează cu DataFrame-uri cu nume de coloane și dă coloanele mereu după nume, în liste definite o singură dată la începutul scriptului (coloane_numerice = [...], coloane_categorice = [...]). Dacă vrei să le alegi automat, folosește make_column_selector(dtype_include=...). Nu folosi poziții decât dacă datele sunt array numpy fără nume.
Întrebări frecvente
E mai bine cu nume sau cu poziții?
Cu nume, când datele sunt DataFrame: codul rămâne corect dacă se adaugă sau se mută coloane, iar get_feature_names_out() dă nume ușor de citit. Pozițiile sunt doar pentru array-uri numpy.
De ce primesc altă eroare când dau nume pe un array numpy?
Un array numpy nu are nume de coloane, deci primești ValueError: Specifying the columns using strings is only supported for dataframes. Dă un DataFrame sau folosește poziții.
Erori înrudite
ValueError: Specifying the columns using strings is only supported for dataframes. ColumnTransformer are coloanele date după nume ("varsta", "oras"), dar a primit un tablou numpy, care nu are nume de coloane. Dă-i DataFrame-ul (df, nu df.values sau df.to_numpy()), sau, dacă lucrezi cu numpy, indică coloanele prin poziție: [0, 2]. ValueError: A given column is not a column of the dataframe Ai dat unui ColumnTransformer o listă de coloane în care cel puțin un nume nu există în DataFrame (greșeală de scriere, diacritice, spații, coloană redenumită). Compară lista cu df.columns.tolist() și corectează numele. ValueError: columns are missing: {'oras'} ColumnTransformer (sau un Pipeline care îl conține) a fost antrenat cu o coloană care lipsește din DataFrame-ul primit la predict sau transform. Verifică numele coloanelor datelor noi: trebuie să existe toate coloanele de la fit, cu aceleași nume. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
