UserWarning: n_quantiles (1000) is greater than the total number of samples (6). n_quantiles is set to n_samples.
`QuantileTransformer` are implicit `n_quantiles=1000`, dar datele tale au mai puține rânduri, așa că scikit-learn reduce singur numărul de cuantile și te avertizează. Rezultatul e corect; ca să scapi de avertisment, dă explicit `n_quantiles` cel mult egal cu numărul de rânduri din train.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
QuantileTransformer (și quantile_transform) estimează distribuția fiecărei coloane din n_quantiles puncte, apoi o transformă în una uniformă sau normală. Nu poți avea mai multe cuantile distincte decât valori, deci când n_quantiles (1000 implicit) depășește numărul de rânduri, transformatorul folosește numărul de rânduri și afișează avertismentul.
Nu e o eroare: codul merge mai departe. Devine supărător în validare încrucișată sau GridSearchCV, unde apare pentru fiecare fold, ori când rulezi cu avertismentele transformate în erori (warnings.simplefilter("error"), în teste sau în CI). Tot aici e și un semnal: o transformare pe cuantile pe foarte puține date poate fi instabilă.
Numărul din a doua paranteză este numărul de rânduri văzut la fit, adică al foldului de antrenare, nu al întregului set.
De ce apare: cauzele frecvente
1Valoarea implicită pe un set mic
QuantileTransformer().fit(X_train) # 6 rânduriQuantileTransformer(n_quantiles=len(X_train)).fit(X_train)Cu n_quantiles cel mult egal cu numărul de rânduri, nu mai e nevoie de ajustare automată.
2Validare încrucișată pe un set mediu
make_pipeline(QuantileTransformer(), model) # 800 de rânduri, cv=5make_pipeline(QuantileTransformer(n_quantiles=500), model)Fiecare fold de antrenare are mai puține rânduri decât tot setul (aici 640), deci alege o valoare sub mărimea foldului.
Repară eroarea, direct în pagină
Codul de mai jos rulează cu avertismentele transformate în erori și dă UserWarning: n_quantiles (1000) is greater than the total number of samples (6). Setează numărul de cuantile egal cu numărul de rânduri, ca programul să afișeze valorile transformate.
import warnings
from sklearn.preprocessing import QuantileTransformer
warnings.simplefilter("error", UserWarning)
# venituri lunare (mii lei), cu o valoare extrema
X = [[2], [3], [3.5], [4], [5], [60]]
qt = QuantileTransformer()
Z = qt.fit_transform(X)
print("Transformat:", Z.ravel().round(2).tolist())Transformat: [0.0, 0.2, 0.4, 0.6, 0.8, 1.0]
Indiciu
Scrie QuantileTransformer(n_quantiles=len(X)).
Reparația
import warnings
from sklearn.preprocessing import QuantileTransformer
warnings.simplefilter("error", UserWarning)
# venituri lunare (mii lei), cu o valoare extrema
X = [[2], [3], [3.5], [4], [5], [60]]
qt = QuantileTransformer(n_quantiles=len(X))
Z = qt.fit_transform(X)
print("Transformat:", Z.ravel().round(2).tolist())De ce merge
Cu 6 rânduri pot exista cel mult 6 cuantile, iar n_quantiles=len(X) cere exact atât, deci scikit-learn nu mai are ce ajusta și nu mai avertizează. Transformarea pune valorile pe poziția lor în distribuție, între 0 și 1, la distanțe egale. Venitul extrem de 60 devine 1, nu mai trage scala după el.
Alte forme ale mesajului
UserWarning: n_quantiles (1000) is greater than the total number of samples (640). n_quantiles is set to n_samples.
Cum o eviți pe viitor
Când folosești QuantileTransformer, setează n_quantiles explicit, sub numărul de rânduri din cel mai mic fold de antrenare (de exemplu jumătate din set la cv=5 e o alegere sigură). Pe seturi foarte mici, ia în calcul transformări mai simple (StandardScaler, PowerTransformer). Nu ascunde avertismentele global; filtrează doar unul anume, dacă știi de ce apare.
Întrebări frecvente
Rezultatul e greșit dacă apare avertismentul?
Nu. scikit-learn folosește automat numărul de rânduri ca număr de cuantile, ceea ce e corect. Avertismentul îți spune doar că setarea ta nu a fost aplicată exact.
Câte cuantile să aleg?
Câteva sute sunt de ajuns pentru o distribuție netedă; mai multe nu ajută dacă nu ai multe date. Regula importantă: cel mult numărul de rânduri din train.
Erori înrudite
UserWarning: k=5 is greater than n_features=3. All the features will be returned. Ai cerut lui SelectKBest să păstreze k coloane, dar datele au mai puține, așa că le întoarce pe toate. Alege un k mai mic decât numărul de coloane, sau k="all" dacă vrei intenționat toate coloanele (de exemplu într-o grilă). UserWarning: The total space of parameters 4 is smaller than n_iter=10. Running 4 iterations. For exhaustive searches, use GridSearchCV. RandomizedSearchCV trebuie să încerce n_iter combinații, dar grila ta are mai puține, deci le încearcă pe toate o singură dată. Micșorează n_iter, dă distribuții continue (de exemplu loguniform pentru C) sau folosește direct GridSearchCV. ValueError: Found array with 0 sample(s) (shape=(0, 1)) while a minimum of 1 is required by LinearRegression. Ai dat modelului un tabel fără niciun rând. De obicei un filtru (dropna, o condiție pe o coloană, un merge) a eliminat tot. Afișează len(df) după fiecare pas de curățare și repară filtrul care golește tabelul. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
