ValueError: The test_size = 1 should be greater or equal to the number of classes = 2
Cu stratify=y, fiecare clasă trebuie să apară cel puțin o dată în setul de test, dar testul are mai puține exemple decât clase. Mărește test_size (de exemplu 0.3 în loc de 0.1) sau adună mai multe date.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Cu stratify=y, train_test_split păstrează proporția claselor în ambele seturi, deci fiecare clasă trebuie să apară măcar o dată în test și o dată în antrenare. Mesajul calculează numărul de exemple din test: aici test_size = 1, adică un singur exemplu (de exemplu 10% din 10 rânduri), și îl compară cu numărul de clase (2). Un exemplu nu poate reprezenta două clase.
Numărul din mesaj e întotdeauna numărul de exemple, chiar dacă tu ai scris o fracție. Pe date mici, 0.1 sau 0.2 dau foarte repede un test minuscul.
Varianta cu train_size apare când setul de antrenare e cel prea mic, de exemplu cu test_size=0.9.
De ce apare: cauzele frecvente
1Test prea mic pe date puține
train_test_split(X, y, test_size=0.1, stratify=y) # 10 randuri -> 1 la testtrain_test_split(X, y, test_size=0.3, stratify=y) # 3 la testCu trei exemple la test, ambele clase pot fi reprezentate.
2Multe clase, test mic
train_test_split(X, y, test_size=3, stratify=y) # y are 5 clasetrain_test_split(X, y, test_size=5, stratify=y)Testul trebuie să aibă cel puțin atâtea exemple câte clase are y.
3Antrenare prea mică
train_test_split(X, y, test_size=0.95, stratify=y)train_test_split(X, y, test_size=0.3, stratify=y)Aceeași regulă se aplică și setului de antrenare (mesajul cu train_size).
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: The test_size = 1 should be greater or equal to the number of classes = 2, pentru că din 10 exemple doar unul ajunge la test. Mărește testul la 30% din date, ca programul să afișeze clasele din setul de test.
from sklearn.model_selection import train_test_split
X = [[i] for i in range(10)]
y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1, stratify=y, random_state=0)
print("Exemple la test:", len(y_test))
print("Clase la test:", sorted(set(y_test)))Exemple la test: 3 Clase la test: [0, 1]
Indiciu
Folosește test_size=0.3.
Reparația
from sklearn.model_selection import train_test_split
X = [[i] for i in range(10)]
y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, stratify=y, random_state=0)
print("Exemple la test:", len(y_test))
print("Clase la test:", sorted(set(y_test)))De ce merge
Cu test_size=0.3, din 10 exemple 3 ajung la test, adică mai multe decât cele 2 clase. Stratificarea poate pune acum în test exemple din ambele clase, deci metricile calculate pe test vor avea sens pentru amândouă. Pe date atât de puține, rezultatele de test rămân totuși orientative.
Alte forme ale mesajului
ValueError: The test_size = 2 should be greater or equal to the number of classes = 3ValueError: The train_size = 1 should be greater or equal to the number of classes = 2
Cum o eviți pe viitor
Pe date mici, calculează înainte câte exemple vor ajunge în test: round(len(y) * test_size). Dacă ai foarte puține date, în loc de o singură împărțire folosește validare încrucișată (StratifiedKFold), care folosește fiecare exemplu și la test. Verifică și distribuția claselor cu pd.Series(y).value_counts().
Întrebări frecvente
Pot scoate stratify ca să scap de eroare?
Tehnic da, dar atunci testul poate conține o singură clasă, iar metricile devin inutile. Mai bine mărești testul.
E aceeași eroare ca „The least populated class in y has only 1 member”?
Nu. Aceea spune că o clasă are prea puține exemple în tot setul. Aici clasele sunt destule, dar testul e prea mic.
Erori înrudite
ValueError: The least populated classes in y have only 1 member, which is too few. The minimum number of groups for any class cannot be less than 2. Ai folosit train_test_split cu stratify=y, iar o clasă apare o singură dată, deci nu poate fi pusă și în train, și în test. Adună mai multe exemple pentru clasa rară, unește-o cu o clasă înrudită sau elimină rândul ei înainte de împărțire. ValueError: test_size=30 should be either positive and smaller than the number of samples 10 or a float in the (0, 1) range Ai dat test_size un număr care nu are sens: aici 30 (probabil voiai 30%), dar datele au doar 10 rânduri. test_size acceptă fie o fracție între 0 și 1 (0.3 = 30%), fie un număr întreg de rânduri mai mic decât totalul. ValueError: With n_samples=1, test_size=0.3 and train_size=None, the resulting train set will be empty. Adjust any of the aforementioned parameters. train_test_split a primit prea puține rânduri (aici unul singur), așa că după ce pune deoparte setul de test nu mai rămâne nimic pentru antrenare. De obicei un filtru a lăsat aproape nimic în tabel (o greșeală de scriere, majuscule, spații) sau ai împărțit un subset prea mic. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
