...
Eroare Machine Learning · Encodere, ColumnTransformer și Pipeline

UserWarning: n_quantiles (1000) is greater than the total number of samples (6). n_quantiles is set to n_samples.

Pe scurt

`QuantileTransformer` are implicit `n_quantiles=1000`, dar datele tale au mai puține rânduri, așa că scikit-learn reduce singur numărul de cuantile și te avertizează. Rezultatul e corect; ca să scapi de avertisment, dă explicit `n_quantiles` cel mult egal cu numărul de rânduri din train.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

QuantileTransformer (și quantile_transform) estimează distribuția fiecărei coloane din n_quantiles puncte, apoi o transformă în una uniformă sau normală. Nu poți avea mai multe cuantile distincte decât valori, deci când n_quantiles (1000 implicit) depășește numărul de rânduri, transformatorul folosește numărul de rânduri și afișează avertismentul.

Nu e o eroare: codul merge mai departe. Devine supărător în validare încrucișată sau GridSearchCV, unde apare pentru fiecare fold, ori când rulezi cu avertismentele transformate în erori (warnings.simplefilter("error"), în teste sau în CI). Tot aici e și un semnal: o transformare pe cuantile pe foarte puține date poate fi instabilă.

Numărul din a doua paranteză este numărul de rânduri văzut la fit, adică al foldului de antrenare, nu al întregului set.

De ce apare: cauzele frecvente

1Valoarea implicită pe un set mic

Greșit
PYTHON
QuantileTransformer().fit(X_train)  # 6 rânduri
Corect
PYTHON
QuantileTransformer(n_quantiles=len(X_train)).fit(X_train)

Cu n_quantiles cel mult egal cu numărul de rânduri, nu mai e nevoie de ajustare automată.

2Validare încrucișată pe un set mediu

Greșit
PYTHON
make_pipeline(QuantileTransformer(), model)  # 800 de rânduri, cv=5
Corect
PYTHON
make_pipeline(QuantileTransformer(n_quantiles=500), model)

Fiecare fold de antrenare are mai puține rânduri decât tot setul (aici 640), deci alege o valoare sub mărimea foldului.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos rulează cu avertismentele transformate în erori și dă UserWarning: n_quantiles (1000) is greater than the total number of samples (6). Setează numărul de cuantile egal cu numărul de rânduri, ca programul să afișeze valorile transformate.

Codul care dă eroarea
PYTHON
import warnings
from sklearn.preprocessing import QuantileTransformer

warnings.simplefilter("error", UserWarning)

# venituri lunare (mii lei), cu o valoare extrema
X = [[2], [3], [3.5], [4], [5], [60]]

qt = QuantileTransformer()
Z = qt.fit_transform(X)
print("Transformat:", Z.ravel().round(2).tolist())
După reparație, programul afișează
Transformat: [0.0, 0.2, 0.4, 0.6, 0.8, 1.0]
Indiciu

Scrie QuantileTransformer(n_quantiles=len(X)).

Alte forme ale mesajului

  • UserWarning: n_quantiles (1000) is greater than the total number of samples (640). n_quantiles is set to n_samples.

Cum o eviți pe viitor

Când folosești QuantileTransformer, setează n_quantiles explicit, sub numărul de rânduri din cel mai mic fold de antrenare (de exemplu jumătate din set la cv=5 e o alegere sigură). Pe seturi foarte mici, ia în calcul transformări mai simple (StandardScaler, PowerTransformer). Nu ascunde avertismentele global; filtrează doar unul anume, dacă știi de ce apare.

Întrebări frecvente

Rezultatul e greșit dacă apare avertismentul?

Nu. scikit-learn folosește automat numărul de rânduri ca număr de cuantile, ceea ce e corect. Avertismentul îți spune doar că setarea ta nu a fost aplicată exact.

Câte cuantile să aleg?

Câteva sute sunt de ajuns pentru o distribuție netedă; mai multe nu ajută dacă nu ai multe date. Regula importantă: cel mult numărul de rânduri din train.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.