UserWarning: k=5 is greater than n_features=3. All the features will be returned.
Ai cerut lui SelectKBest să păstreze k coloane, dar datele au mai puține, așa că le întoarce pe toate. Alege un k mai mic decât numărul de coloane, sau k="all" dacă vrei intenționat toate coloanele (de exemplu într-o grilă).
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
SelectKBest(k=5) păstrează cele mai bune 5 coloane după un scor statistic. Dacă X are doar 3 coloane, nu are ce alege: întoarce toate cele 3 și te avertizează. În versiunile mai vechi de scikit-learn era o eroare (k should be <= n_features), acum e doar un avertisment.
Apare des în pipeline-uri cu preprocesare înainte de selecție: numărul de coloane după OneHotEncoder sau după eliminarea coloanelor constante poate fi diferit de cel la care te gândeai. Apare și în GridSearchCV, când grila conține valori de k mai mari decât numărul real de coloane.
Verifică numărul de coloane exact înainte de selecție: prep.fit_transform(X).shape[1].
De ce apare: cauzele frecvente
1k ales fără să știi câte coloane ai
SelectKBest(f_classif, k=5).fit(X, y) # X are 3 coloaneSelectKBest(f_classif, k=2).fit(X, y)Cu k mai mic decât numărul de coloane, selecția chiar alege ceva.
2Grilă cu valori prea mari
grila = {"selectkbest__k": [2, 5, 10]}grila = {"selectkbest__k": [1, 2, 3]} # sau "all"Valorile din grilă trebuie să fie posibile pentru numărul real de coloane.
3Vrei toate coloanele, intenționat
SelectKBest(k=100)SelectKBest(k="all")k="all" spune clar că nu vrei selecție, fără avertisment.
Repară eroarea, direct în pagină
Codul de mai jos dă UserWarning: k=5 is greater than n_features=3, transformat în eroare, pentru că datele au doar 3 coloane. Păstrează cele mai bune 2 coloane, ca programul să afișeze ce coloane au fost alese.
import warnings
import pandas as pd
from sklearn.feature_selection import SelectKBest, f_classif
warnings.simplefilter("error", UserWarning)
df = pd.DataFrame({
"venit": [2, 3, 9, 10, 11, 2],
"varsta": [30, 45, 28, 50, 33, 41],
"datorii": [9, 8, 1, 2, 1, 7],
})
y = [0, 0, 1, 1, 1, 0]
sel = SelectKBest(f_classif, k=5).fit(df, y)
print("Alese:", [str(c) for c in sel.get_feature_names_out()])Alese: ['venit', 'datorii']
Indiciu
Folosește SelectKBest(f_classif, k=2).
Reparația
import warnings
import pandas as pd
from sklearn.feature_selection import SelectKBest, f_classif
warnings.simplefilter("error", UserWarning)
df = pd.DataFrame({
"venit": [2, 3, 9, 10, 11, 2],
"varsta": [30, 45, 28, 50, 33, 41],
"datorii": [9, 8, 1, 2, 1, 7],
})
y = [0, 0, 1, 1, 1, 0]
sel = SelectKBest(f_classif, k=2).fit(df, y)
print("Alese:", [str(c) for c in sel.get_feature_names_out()])De ce merge
Cu k=2, SelectKBest calculează scorul F al fiecărei coloane și le păstrează pe primele două. Venitul și datoriile separă clar clienții din clasa 1 de cei din clasa 0, iar vârsta nu, așa că sunt alese venit și datorii.
Alte forme ale mesajului
UserWarning: k=10 is greater than n_features=8. All the features will be returned.ValueError: k should be <= n_features = 3; got 5. Use k='all' to return all features.
Cum o eviți pe viitor
Calculează numărul de coloane după preprocesare și construiește grila din el: list(range(1, n_col + 1)). Pune selecția în același pipeline cu preprocesarea, ca numărul de coloane să fie cel real. Folosește k="all" ca valoare de comparație în grilă: așa vezi dacă selecția chiar ajută.
Întrebări frecvente
Rezultatul e greșit dacă apare avertismentul?
Nu, primești toate coloanele, ca și cum n-ai fi făcut selecție. Avertismentul îți spune doar că k nu a avut efect.
De ce am văzut în tutoriale o eroare, nu un avertisment?
Versiunile mai vechi de scikit-learn ridicau ValueError: k should be <= n_features. Acum biblioteca întoarce toate coloanele și doar avertizează.
Erori înrudite
UserWarning: Features [2] are constant. Coloana cu indicele din mesaj are aceeași valoare pe toate rândurile, deci testul statistic al lui SelectKBest (f_classif, f_regression) nu poate calcula un scor pentru ea. Scoate coloanele constante înainte, de exemplu cu VarianceThreshold(). ValueError: Invalid parameter 'C' for estimator Pipeline(steps=[('scaler', StandardScaler()), ('model', LogisticRegression())]). Valid parameters are: ['memory', 'steps', 'transform_input', 'verbose']. Ai dat lui GridSearchCV (sau lui set_params) un parametru al modelului direct pipeline-ului. Într-un pipeline, parametrii pașilor se scriu cu numele pasului și două underscore-uri: 'model__C' în loc de 'C'. ValueError: X has 3 features, but LinearRegression is expecting 2 features as input. Datele date la predict sau transform au alt număr de coloane decât cele de la fit (aici 3 în loc de 2). Datele noi trebuie să aibă exact aceleași caracteristici, în aceeași ordine, și să treacă prin aceleași transformări ca datele de antrenare. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
