...
Eroare Machine Learning · Împărțirea datelor și validarea încrucișată

ValueError: n_splits=5 cannot be greater than the number of members in each class.

Pe scurt

Ai cerut validare încrucișată stratificată cu mai multe fold-uri decât exemple are fiecare clasă (de exemplu 5 fold-uri, dar 3 exemple pe clasă). Micșorează n_splits (sau cv) la cel mult numărul de exemple din clasa cea mai mică, sau adună mai multe date.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

StratifiedKFold împarte datele în n_splits bucăți și vrea ca fiecare bucată să conțină exemple din fiecare clasă. Dacă toate clasele au mai puține exemple decât numărul de bucăți, asta e imposibil, iar împărțirea se oprește cu eroarea aceasta. Dacă doar unele clase sunt prea mici, primești în schimb un avertisment: The least populated class in y has only 2 members, which is less than n_splits=5.

Apare la StratifiedKFold(...).split(X, y) și la cross_val_score(clasificator, X, y, cv=5) sau GridSearchCV(..., cv=5), pentru că la clasificatori cv=5 înseamnă implicit un StratifiedKFold cu 5 bucăți. Cel mai des, setul de date e foarte mic (exemple scrise de mână, un subset filtrat). Pentru seturi mici, alege n_splits egal cu numărul de exemple din clasa cea mai mică.

De ce apare: cauzele frecvente

1Prea multe fold-uri pentru un set mic

Greșit
PYTHON
cross_val_score(DecisionTreeClassifier(), X, y, cv=5)  # 3 exemple pe clasă
Corect
PYTHON
cross_val_score(DecisionTreeClassifier(), X, y, cv=3)

Cu 3 fold-uri, fiecare clasă poate avea exact un exemplu în fiecare bucată de test.

2StratifiedKFold configurat fără să verifici clasele

Greșit
PYTHON
skf = StratifiedKFold(n_splits=4)
for tr, te in skf.split(X, y): ...
Corect
PYTHON
n = min(np.bincount(y))
skf = StratifiedKFold(n_splits=min(4, n))
for tr, te in skf.split(X, y): ...

np.bincount(y) numără exemplele fiecărei clase; numărul de fold-uri nu poate depăși minimul.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: n_splits=5 cannot be greater than the number of members in each class., pentru că fiecare clasă are doar 4 exemple. Repară validarea: folosește atâtea fold-uri câte exemple are clasa cea mai mică, ca programul să afișeze numărul de fold-uri și acuratețea medie.

Codul care dă eroarea
PYTHON
import pandas as pd
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.neighbors import KNeighborsClassifier

df = pd.DataFrame({
    "greutate": [150, 160, 155, 165, 120, 115, 125, 118],
    "fruct": ["mar", "mar", "mar", "mar", "lamaie", "lamaie", "lamaie", "lamaie"],
})
X = df[["greutate"]]
y = df["fruct"]

cv = StratifiedKFold(n_splits=5)
scoruri = cross_val_score(KNeighborsClassifier(n_neighbors=1), X, y, cv=cv)
print("Fold-uri:", len(scoruri))
print("Acuratete medie:", scoruri.mean())
După reparație, programul afișează
Fold-uri: 4
Acuratete medie: 1.0
Indiciu

Calculează n = int(y.value_counts().min()) și folosește StratifiedKFold(n_splits=n).

Alte forme ale mesajului

  • UserWarning: The least populated class in y has only 2 members, which is less than n_splits=5.
  • ValueError: Cannot have number of splits n_splits=5 greater than the number of samples: n_samples=4.

Cum o eviți pe viitor

Înainte de validarea încrucișată, uită-te la y.value_counts() și alege cv cel mult egal cu numărul de exemple din clasa cea mai mică. Pentru seturi foarte mici, poți folosi și LeaveOneOut (la regresie) sau poți aduna mai multe date. Nu ignora avertismentul despre clasa cea mai mică: scorurile pe fold-uri dezechilibrate sunt nesigure.

Întrebări frecvente

Pot folosi KFold simplu ca să scap de eroare?

Da, dar atunci unele fold-uri de test pot avea o singură clasă sau niciun exemplu dintr-o clasă, iar scorurile vor varia mult. Stratificarea e de preferat la clasificare.

Ce e diferit la Cannot have number of splits greater than the number of samples?

Acela apare la KFold (sau la regresie), când ai mai puține rânduri în total decât fold-uri. Aici problema e numărul de exemple din fiecare clasă.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.