...
Eroare Machine Learning · Împărțirea datelor și validarea încrucișată

ValueError: The test_size = 1 should be greater or equal to the number of classes = 2

Pe scurt

Cu stratify=y, fiecare clasă trebuie să apară cel puțin o dată în setul de test, dar testul are mai puține exemple decât clase. Mărește test_size (de exemplu 0.3 în loc de 0.1) sau adună mai multe date.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Cu stratify=y, train_test_split păstrează proporția claselor în ambele seturi, deci fiecare clasă trebuie să apară măcar o dată în test și o dată în antrenare. Mesajul calculează numărul de exemple din test: aici test_size = 1, adică un singur exemplu (de exemplu 10% din 10 rânduri), și îl compară cu numărul de clase (2). Un exemplu nu poate reprezenta două clase.

Numărul din mesaj e întotdeauna numărul de exemple, chiar dacă tu ai scris o fracție. Pe date mici, 0.1 sau 0.2 dau foarte repede un test minuscul.

Varianta cu train_size apare când setul de antrenare e cel prea mic, de exemplu cu test_size=0.9.

De ce apare: cauzele frecvente

1Test prea mic pe date puține

Greșit
PYTHON
train_test_split(X, y, test_size=0.1, stratify=y)  # 10 randuri -> 1 la test
Corect
PYTHON
train_test_split(X, y, test_size=0.3, stratify=y)  # 3 la test

Cu trei exemple la test, ambele clase pot fi reprezentate.

2Multe clase, test mic

Greșit
PYTHON
train_test_split(X, y, test_size=3, stratify=y)  # y are 5 clase
Corect
PYTHON
train_test_split(X, y, test_size=5, stratify=y)

Testul trebuie să aibă cel puțin atâtea exemple câte clase are y.

3Antrenare prea mică

Greșit
PYTHON
train_test_split(X, y, test_size=0.95, stratify=y)
Corect
PYTHON
train_test_split(X, y, test_size=0.3, stratify=y)

Aceeași regulă se aplică și setului de antrenare (mesajul cu train_size).

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: The test_size = 1 should be greater or equal to the number of classes = 2, pentru că din 10 exemple doar unul ajunge la test. Mărește testul la 30% din date, ca programul să afișeze clasele din setul de test.

Codul care dă eroarea
PYTHON
from sklearn.model_selection import train_test_split

X = [[i] for i in range(10)]
y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1, stratify=y, random_state=0)
print("Exemple la test:", len(y_test))
print("Clase la test:", sorted(set(y_test)))
După reparație, programul afișează
Exemple la test: 3
Clase la test: [0, 1]
Indiciu

Folosește test_size=0.3.

Alte forme ale mesajului

  • ValueError: The test_size = 2 should be greater or equal to the number of classes = 3
  • ValueError: The train_size = 1 should be greater or equal to the number of classes = 2

Cum o eviți pe viitor

Pe date mici, calculează înainte câte exemple vor ajunge în test: round(len(y) * test_size). Dacă ai foarte puține date, în loc de o singură împărțire folosește validare încrucișată (StratifiedKFold), care folosește fiecare exemplu și la test. Verifică și distribuția claselor cu pd.Series(y).value_counts().

Întrebări frecvente

Pot scoate stratify ca să scap de eroare?

Tehnic da, dar atunci testul poate conține o singură clasă, iar metricile devin inutile. Mai bine mărești testul.

E aceeași eroare ca „The least populated class in y has only 1 member”?

Nu. Aceea spune că o clasă are prea puține exemple în tot setul. Aici clasele sunt destule, dar testul e prea mic.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.