ValueError: perplexity (30.0) must be less than n_samples (10)
`TSNE` are implicit `perplexity=30`, care înseamnă aproximativ „câți vecini contează pentru fiecare punct”, dar setul tău are mai puține rânduri. Alege o perplexitate mai mică decât numărul de rânduri, de obicei între 5 și 50 și mult sub n_samples, de exemplu `TSNE(perplexity=3)` pentru 10 puncte.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
t-SNE reduce datele la 2 sau 3 dimensiuni, ca să le poți desena, păstrând apropierile dintre puncte. Parametrul perplexity controlează câți vecini iau în calcul pentru fiecare punct. Nu poți avea mai mulți vecini decât puncte, așa că scikit-learn cere perplexity < n_samples și refuză altfel.
Apare aproape mereu când testezi codul pe un set mic (un exemplu din tutorial, primele 10 rânduri, un eșantion) cu valoarea implicită 30. Numerele din mesaj îți spun exact ce perplexitate ai și câte rânduri are setul.
O valoare doar puțin sub numărul de rânduri trece de verificare, dar dă un desen fără structură; o regulă practică e ca perplexitatea să fie mult mai mică decât numărul de puncte.
De ce apare: cauzele frecvente
1Valoarea implicită pe un set mic
Z = TSNE(n_components=2).fit_transform(X) # 10 rânduriZ = TSNE(n_components=2, perplexity=3).fit_transform(X)Cu 10 puncte, 3 vecini pentru fiecare e o alegere rezonabilă și respectă limita.
2Eșantion luat pentru un test rapid
TSNE(perplexity=30).fit_transform(X[:20])TSNE(perplexity=min(30, len(X[:20]) // 3)).fit_transform(X[:20])Calculul perplexității din mărimea setului merge și pe eșantioane mici, și pe tot setul.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: perplexity (30.0) must be less than n_samples (8), pentru că setul are doar 8 clienți. Setează o perplexitate de 2, ca programul să afișeze forma rezultatului și dacă cele două grupuri rămân separate.
import numpy as np
from sklearn.manifold import TSNE
# 8 clienti, 4 trasaturi: doua grupuri clare
X = np.array([
[1, 1, 1, 1], [1, 2, 1, 1], [2, 1, 1, 2], [1, 1, 2, 1],
[9, 9, 9, 9], [9, 8, 9, 9], [8, 9, 9, 8], [9, 9, 8, 9],
], dtype=float)
Z = TSNE(n_components=2, random_state=0).fit_transform(X)
print("Forma:", Z.shape)
d_in = np.linalg.norm(Z[0] - Z[1])
d_out = np.linalg.norm(Z[0] - Z[4])
print("Grupuri separate:", bool(d_out > d_in))Forma: (8, 2) Grupuri separate: True
Indiciu
Scrie TSNE(n_components=2, perplexity=2, random_state=0).
Reparația
import numpy as np
from sklearn.manifold import TSNE
# 8 clienti, 4 trasaturi: doua grupuri clare
X = np.array([
[1, 1, 1, 1], [1, 2, 1, 1], [2, 1, 1, 2], [1, 1, 2, 1],
[9, 9, 9, 9], [9, 8, 9, 9], [8, 9, 9, 8], [9, 9, 8, 9],
], dtype=float)
Z = TSNE(n_components=2, perplexity=2, random_state=0).fit_transform(X)
print("Forma:", Z.shape)
d_in = np.linalg.norm(Z[0] - Z[1])
d_out = np.linalg.norm(Z[0] - Z[4])
print("Grupuri separate:", bool(d_out > d_in))De ce merge
Cu perplexity=2, fiecare punct ține cont de aproximativ doi vecini, mai puțin decât cele 8 puncte, deci t-SNE poate rula. Rezultatul are 8 rânduri și 2 coloane, gata de desenat. Doi clienți din același grup ajung aproape unul de altul, iar un client din celălalt grup ajunge departe.
Alte forme ale mesajului
ValueError: perplexity must be less than n_samplesValueError: perplexity (30.0) must be less than n_samples (25)
Cum o eviți pe viitor
Leagă perplexitatea de mărimea datelor: pentru seturi mici, o valoare între 2 și o treime din numărul de rânduri; pentru seturi mari, valorile uzuale sunt 5–50. Încearcă două-trei valori și compară desenele, pentru că t-SNE e sensibil la ea. Pune random_state ca să obții același desen la fiecare rulare și nu folosi distanțele din desen ca măsură exactă.
Întrebări frecvente
Pot folosi TSNE ca pas într-un pipeline de predicție?
Nu: TSNE are doar fit_transform, nu și transform pentru puncte noi. E o unealtă de vizualizare. Pentru reducerea dimensiunilor înainte de un model, folosește PCA.
Ce perplexitate să aleg?
Nu există o valoare corectă universală. Valori mici scot în evidență structura locală, valori mari pe cea globală. Compară câteva valori pe datele tale.
Erori înrudite
ValueError: n_components=3 must be between 0 and min(n_samples, n_features)=2 with svd_solver='full' Ai cerut PCA mai multe componente decât permit datele: numărul de componente nu poate depăși nici numărul de caracteristici, nici numărul de rânduri. Micșorează n_components, de exemplu la 2, sau dă o proporție (n_components=0.95) ca să păstrezi 95% din varianță. ValueError: Expected n_neighbors <= n_samples_fit, but n_neighbors = 5, n_samples_fit = 3, n_samples = 1 k-NN caută 5 vecini (valoarea implicită), dar a fost antrenat pe doar 3 exemple. Alege n_neighbors cel mult egal cu numărul de rânduri de antrenare (de exemplu n_neighbors=3) sau antrenează pe mai multe date. ValueError: n_samples=3 should be >= n_clusters=4. Ai cerut lui KMeans mai multe grupuri (n_clusters) decât puncte ai în date: fiecare grup are nevoie de cel puțin un punct. Micșorează n_clusters sau verifică dacă X are cu adevărat atâtea rânduri câte crezi (de exemplu că nu e transpus). Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
