ValueError: The least populated classes in y have only 1 member, which is too few. The minimum number of groups for any class cannot be less than 2.
Ai folosit train_test_split cu stratify=y, iar o clasă apare o singură dată, deci nu poate fi pusă și în train, și în test. Adună mai multe exemple pentru clasa rară, unește-o cu o clasă înrudită sau elimină rândul ei înainte de împărțire.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
stratify=y cere ca proporția fiecărei clase să fie aceeași în train și în test. Pentru asta, fiecare clasă trebuie să aibă cel puțin 2 exemple: unul pentru fiecare parte. Când o clasă apare o singură dată, împărțirea stratificată e imposibilă, iar mesajul îți spune și ce clase sunt de vină: Classes with too few members are: [2].
În versiunile mai vechi de scikit-learn mesajul începea cu The least populated class in y has only 1 member; sensul e același. Apare la date mici, la etichete scrise inconsecvent ("Cluj" și "cluj" devin două clase, una cu un singur exemplu) sau la o țintă cu prea multe categorii rare. Verifică cu y.value_counts(). Rudă apropiată: avertismentul The least populated class in y has only 2 members, which is less than n_splits=5, la validarea încrucișată stratificată.
De ce apare: cauzele frecvente
1O clasă cu un singur exemplu
y = df["categorie"] # "premium" apare o dată
train_test_split(X, y, test_size=0.3, stratify=y)df = df[df["categorie"].map(df["categorie"].value_counts()) >= 2]
train_test_split(df[["pret"]], df["categorie"], test_size=0.3, stratify=df["categorie"])Păstrezi doar clasele cu cel puțin două exemple, deci fiecare poate avea un reprezentant în train și unul în test.
2Aceeași clasă scrisă în două feluri
y = df["oras"] # "Cluj", "cluj", "Iasi"
train_test_split(X, y, stratify=y)y = df["oras"].str.strip().str.capitalize()
train_test_split(X, y, stratify=y)După normalizare, "cluj" și "Cluj" sunt aceeași clasă, cu mai multe exemple.
3Clasă rară care poate fi unită cu alta
y = df["tip_abonament"] # "anual_plus" are 1 clienty = df["tip_abonament"].replace({"anual_plus": "anual"})Dacă o categorie e prea rară ca să fie învățată, uneori are sens s-o unești cu categoria cea mai apropiată.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: The least populated classes in y have only 1 member..., pentru că orașul "cluj" e scris cu literă mică pe un rând și devine o clasă separată. Repară-l: normalizează ținta cu .str.capitalize() înainte de împărțire, ca programul să afișeze câte exemple are fiecare oraș și dimensiunea setului de test.
import pandas as pd
from sklearn.model_selection import train_test_split
df = pd.DataFrame({
"suprafata": [50, 60, 55, 70, 80, 65, 45, 75],
"oras": ["Cluj", "Iasi", "Cluj", "Iasi", "cluj", "Iasi", "Cluj", "Iasi"],
})
X = df[["suprafata"]]
y = df["oras"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, stratify=y, random_state=0)
print("Exemple pe oras:", y.value_counts().sort_index().to_dict())
print("Test:", len(X_test))Exemple pe oras: {'Cluj': 4, 'Iasi': 4}
Test: 4Indiciu
Construiește ținta cu df["oras"].str.capitalize().
Reparația
import pandas as pd
from sklearn.model_selection import train_test_split
df = pd.DataFrame({
"suprafata": [50, 60, 55, 70, 80, 65, 45, 75],
"oras": ["Cluj", "Iasi", "Cluj", "Iasi", "cluj", "Iasi", "Cluj", "Iasi"],
})
X = df[["suprafata"]]
y = df["oras"].str.capitalize()
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, stratify=y, random_state=0)
print("Exemple pe oras:", y.value_counts().sort_index().to_dict())
print("Test:", len(X_test))De ce merge
Pentru pandas, "cluj" și "Cluj" sunt etichete diferite, așa că ținta avea trei clase, iar una dintre ele cu un singur exemplu. Împărțirea stratificată cere cel puțin un exemplu din fiecare clasă în train și unul în test, deci un exemplu unic face împărțirea imposibilă. str.capitalize() aduce toate etichetele la aceeași formă, iar Cluj și Iasi au acum câte 4 exemple. Împărțirea pune câte 2 din fiecare oraș în test.
Alte forme ale mesajului
ValueError: The least populated class in y has only 1 member, which is too few. The minimum number of groups for any class cannot be less than 2.UserWarning: The least populated class in y has only 2 members, which is less than n_splits=5.
Cum o eviți pe viitor
Înainte de orice împărțire stratificată, rulează y.value_counts() și caută clasele cu 1 sau 2 exemple. Normalizează textul etichetelor (strip, litere mici sau mari) și decide explicit ce faci cu clasele foarte rare: le unești, le elimini sau aduni mai multe date. La validarea încrucișată, alege un număr de fold-uri mai mic sau egal cu numărul de exemple al celei mai mici clase.
Întrebări frecvente
Dacă scot stratify, scap de eroare?
Da, dar exemplul unic va ajunge fie numai în train, fie numai în test. Dacă ajunge în test, modelul nu l-a văzut niciodată; dacă ajunge în train, nu-l poți evalua. Clasa rămâne, practic, imposibil de învățat.
Câte exemple are nevoie o clasă?
Minimum 2 ca împărțirea să fie posibilă, dar pentru un model util ai nevoie de mult mai multe. O clasă cu 2-3 exemple este, de obicei, un semn că trebuie unită cu alta sau că îți lipsesc date.
Erori înrudite
ValueError: n_splits=5 cannot be greater than the number of members in each class. Ai cerut validare încrucișată stratificată cu mai multe fold-uri decât exemple are fiecare clasă (de exemplu 5 fold-uri, dar 3 exemple pe clasă). Micșorează n_splits (sau cv) la cel mult numărul de exemple din clasa cea mai mică, sau adună mai multe date. ValueError: This solver needs samples of at least 2 classes in the data, but the data contains only one class: np.int64(1) Datele de antrenare conțin o singură clasă (de exemplu doar 1), deci clasificatorul n-are între ce să aleagă. Verifică ținta cu y.value_counts(): de obicei un filtru, o sortare sau o împărțire fără stratify a lăsat în train o singură clasă. ValueError: With n_samples=1, test_size=0.3 and train_size=None, the resulting train set will be empty. Adjust any of the aforementioned parameters. train_test_split a primit prea puține rânduri (aici unul singur), așa că după ce pune deoparte setul de test nu mai rămâne nimic pentru antrenare. De obicei un filtru a lăsat aproape nimic în tabel (o greșeală de scriere, majuscule, spații) sau ai împărțit un subset prea mic. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
