ValueError: n_splits=5 cannot be greater than the number of members in each class.
Ai cerut validare încrucișată stratificată cu mai multe fold-uri decât exemple are fiecare clasă (de exemplu 5 fold-uri, dar 3 exemple pe clasă). Micșorează n_splits (sau cv) la cel mult numărul de exemple din clasa cea mai mică, sau adună mai multe date.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
StratifiedKFold împarte datele în n_splits bucăți și vrea ca fiecare bucată să conțină exemple din fiecare clasă. Dacă toate clasele au mai puține exemple decât numărul de bucăți, asta e imposibil, iar împărțirea se oprește cu eroarea aceasta. Dacă doar unele clase sunt prea mici, primești în schimb un avertisment: The least populated class in y has only 2 members, which is less than n_splits=5.
Apare la StratifiedKFold(...).split(X, y) și la cross_val_score(clasificator, X, y, cv=5) sau GridSearchCV(..., cv=5), pentru că la clasificatori cv=5 înseamnă implicit un StratifiedKFold cu 5 bucăți. Cel mai des, setul de date e foarte mic (exemple scrise de mână, un subset filtrat). Pentru seturi mici, alege n_splits egal cu numărul de exemple din clasa cea mai mică.
De ce apare: cauzele frecvente
1Prea multe fold-uri pentru un set mic
cross_val_score(DecisionTreeClassifier(), X, y, cv=5) # 3 exemple pe clasăcross_val_score(DecisionTreeClassifier(), X, y, cv=3)Cu 3 fold-uri, fiecare clasă poate avea exact un exemplu în fiecare bucată de test.
2StratifiedKFold configurat fără să verifici clasele
skf = StratifiedKFold(n_splits=4)
for tr, te in skf.split(X, y): ...n = min(np.bincount(y))
skf = StratifiedKFold(n_splits=min(4, n))
for tr, te in skf.split(X, y): ...np.bincount(y) numără exemplele fiecărei clase; numărul de fold-uri nu poate depăși minimul.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: n_splits=5 cannot be greater than the number of members in each class., pentru că fiecare clasă are doar 4 exemple. Repară validarea: folosește atâtea fold-uri câte exemple are clasa cea mai mică, ca programul să afișeze numărul de fold-uri și acuratețea medie.
import pandas as pd
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.neighbors import KNeighborsClassifier
df = pd.DataFrame({
"greutate": [150, 160, 155, 165, 120, 115, 125, 118],
"fruct": ["mar", "mar", "mar", "mar", "lamaie", "lamaie", "lamaie", "lamaie"],
})
X = df[["greutate"]]
y = df["fruct"]
cv = StratifiedKFold(n_splits=5)
scoruri = cross_val_score(KNeighborsClassifier(n_neighbors=1), X, y, cv=cv)
print("Fold-uri:", len(scoruri))
print("Acuratete medie:", scoruri.mean())Fold-uri: 4 Acuratete medie: 1.0
Indiciu
Calculează n = int(y.value_counts().min()) și folosește StratifiedKFold(n_splits=n).
Reparația
import pandas as pd
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.neighbors import KNeighborsClassifier
df = pd.DataFrame({
"greutate": [150, 160, 155, 165, 120, 115, 125, 118],
"fruct": ["mar", "mar", "mar", "mar", "lamaie", "lamaie", "lamaie", "lamaie"],
})
X = df[["greutate"]]
y = df["fruct"]
n = int(y.value_counts().min())
cv = StratifiedKFold(n_splits=n)
scoruri = cross_val_score(KNeighborsClassifier(n_neighbors=1), X, y, cv=cv)
print("Fold-uri:", len(scoruri))
print("Acuratete medie:", scoruri.mean())De ce merge
StratifiedKFold cu 5 bucăți ar trebui să pună cel puțin un măr și o lămâie în fiecare bucată de test, dar fiecare fruct are doar 4 exemple. y.value_counts().min() dă numărul de exemple al celei mai mici clase, adică 4, deci validarea se face pe 4 fold-uri: fiecare are în test un măr și o lămâie. Greutățile celor două fructe sunt bine separate, așa că vecinul cel mai apropiat clasifică totul corect.
Alte forme ale mesajului
UserWarning: The least populated class in y has only 2 members, which is less than n_splits=5.ValueError: Cannot have number of splits n_splits=5 greater than the number of samples: n_samples=4.
Cum o eviți pe viitor
Înainte de validarea încrucișată, uită-te la y.value_counts() și alege cv cel mult egal cu numărul de exemple din clasa cea mai mică. Pentru seturi foarte mici, poți folosi și LeaveOneOut (la regresie) sau poți aduna mai multe date. Nu ignora avertismentul despre clasa cea mai mică: scorurile pe fold-uri dezechilibrate sunt nesigure.
Întrebări frecvente
Pot folosi KFold simplu ca să scap de eroare?
Da, dar atunci unele fold-uri de test pot avea o singură clasă sau niciun exemplu dintr-o clasă, iar scorurile vor varia mult. Stratificarea e de preferat la clasificare.
Ce e diferit la Cannot have number of splits greater than the number of samples?
Acela apare la KFold (sau la regresie), când ai mai puține rânduri în total decât fold-uri. Aici problema e numărul de exemple din fiecare clasă.
Erori înrudite
ValueError: The least populated classes in y have only 1 member, which is too few. The minimum number of groups for any class cannot be less than 2. Ai folosit train_test_split cu stratify=y, iar o clasă apare o singură dată, deci nu poate fi pusă și în train, și în test. Adună mai multe exemple pentru clasa rară, unește-o cu o clasă înrudită sau elimină rândul ei înainte de împărțire. ValueError: This solver needs samples of at least 2 classes in the data, but the data contains only one class: np.int64(1) Datele de antrenare conțin o singură clasă (de exemplu doar 1), deci clasificatorul n-are între ce să aleagă. Verifică ținta cu y.value_counts(): de obicei un filtru, o sortare sau o împărțire fără stratify a lăsat în train o singură clasă. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
