ValueError: Solver lbfgs supports only 'l2' or None penalties, got l1 penalty.
Ai cerut regularizare L1 (penalty="l1" sau l1_ratio=1) unei regresii logistice cu solverul implicit lbfgs, care știe doar L2. Alege un solver care suportă L1: solver="liblinear" (date mici, două clase) sau solver="saga" (date mari, cu scalare).
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
LogisticRegression poate fi antrenată de mai mulți algoritmi (solvere). Implicitul, lbfgs, e rapid și stabil, dar funcționează doar cu regularizarea L2 sau fără regularizare. Regularizarea L1 (care împinge unii coeficienți exact la 0, utilă pentru selecția trăsăturilor) are nevoie de liblinear sau saga; combinația L1 + L2 (elasticnet) merge doar cu saga. Mesajul îți spune solverul și penalizarea cerută.
În scikit-learn 1.8, tipul de regularizare se alege cu l1_ratio (0 = L2, 1 = L1, între ele = elasticnet), iar penalty e marcat ca învechit; în versiunile mai vechi scriai penalty="l1". Mesajul e același în ambele cazuri. Mesaje surori: Solver newton-cg supports only 'l2' or None penalties și Only 'saga' solver supports elasticnet penalty.
De ce apare: cauzele frecvente
1L1 cu solverul implicit
model = LogisticRegression(l1_ratio=1)
model.fit(X, y)model = LogisticRegression(l1_ratio=1, solver="liblinear")
model.fit(X, y)liblinear implementează regularizarea L1, deci poate antrena modelul cerut.
2Codul vechi cu penalty="l1"
LogisticRegression(penalty="l1", C=0.5)LogisticRegression(l1_ratio=1, C=0.5, solver="saga", max_iter=5000)saga suportă L1 și elasticnet și merge bine pe date mari, dar are nevoie de date scalate și de mai multe iterații.
3Grilă care combină solvere și penalizări incompatibile
grila = {"solver": ["lbfgs", "liblinear"], "l1_ratio": [0, 1]}grila = [
{"solver": ["lbfgs"], "l1_ratio": [0]},
{"solver": ["liblinear"], "l1_ratio": [0, 1]},
]O listă de grile încearcă doar combinațiile valide, deci nu mai apar antrenări eșuate în căutare.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: Solver lbfgs supports only 'l2' or None penalties, got l1 penalty., pentru că cere regularizare L1 cu solverul implicit. Alege solverul liblinear, ca programul să afișeze câți coeficienți au rămas diferiți de 0.
from sklearn.linear_model import LogisticRegression
# minute pe site, pagini vazute, ora din zi (zgomot)
X = [[2, 1, 9], [3, 2, 14], [1, 1, 20], [4, 2, 11], [15, 8, 10], [18, 9, 21], [16, 7, 13], [20, 10, 9]]
y = [0, 0, 0, 0, 1, 1, 1, 1]
model = LogisticRegression(l1_ratio=1, C=0.1)
model.fit(X, y)
nenuli = int((model.coef_ != 0).sum())
print("Coeficienti nenuli:", nenuli, "din", model.coef_.shape[1])Coeficienti nenuli: 2 din 3
Indiciu
Adaugă solver="liblinear" în LogisticRegression(...).
Reparația
from sklearn.linear_model import LogisticRegression
# minute pe site, pagini vazute, ora din zi (zgomot)
X = [[2, 1, 9], [3, 2, 14], [1, 1, 20], [4, 2, 11], [15, 8, 10], [18, 9, 21], [16, 7, 13], [20, 10, 9]]
y = [0, 0, 0, 0, 1, 1, 1, 1]
model = LogisticRegression(l1_ratio=1, C=0.1, solver="liblinear")
model.fit(X, y)
nenuli = int((model.coef_ != 0).sum())
print("Coeficienti nenuli:", nenuli, "din", model.coef_.shape[1])De ce merge
l1_ratio=1 înseamnă regularizare L1, pe care lbfgs nu o poate optimiza. liblinear o suportă, deci antrenarea merge. L1 împinge la 0 coeficienții trăsăturilor care nu ajută: aici ora din zi nu are legătură cu cumpărarea, iar cu o regularizare puternică (C=0.1) modelul păstrează mai puțini coeficienți decât cele trei coloane.
Alte forme ale mesajului
ValueError: Solver lbfgs supports only 'l2' or 'none' penalties, got l1 penalty.ValueError: Solver newton-cg supports only 'l2' or None penalties, got l1 penalty.ValueError: Only 'saga' solver supports elasticnet penalty, got solver=liblinear.
Cum o eviți pe viitor
Când schimbi regularizarea, schimbă și solverul: L2 cu lbfgs (implicit), L1 cu liblinear sau saga, elasticnet doar cu saga. Pune StandardScaler înaintea modelului, mai ales cu saga. În căutările de hiperparametri, folosește o listă de grile cu combinații compatibile. Notează lângă model de ce ai ales solverul, ca o schimbare ulterioară să nu-l strice.
Întrebări frecvente
La ce folosește regularizarea L1?
Penalizează suma valorilor absolute ale coeficienților și împinge coeficienții trăsăturilor inutile exact la 0. Obții un model mai simplu și vezi direct ce trăsături contează.
Care e diferența între liblinear și saga?
liblinear e bun pentru seturi mici și mijlocii, mai ales cu două clase. saga e gândit pentru seturi mari, suportă toate penalizările, dar converge greu pe date nescalate.
Erori înrudite
ConvergenceWarning: lbfgs failed to converge after 100 iteration(s) (status=1): STOP: TOTAL NO. OF ITERATIONS REACHED LIMIT Algoritmul de optimizare al regresiei logistice (lbfgs) s-a oprit la limita de iterații înainte să găsească soluția. E un avertisment, modelul tot e antrenat, dar poate fi slab. Scalează datele cu StandardScaler și, dacă e nevoie, mărește max_iter (de exemplu 1000). FutureWarning: 'penalty' was deprecated in version 1.8 and will be removed in 1.10. To avoid this warning, leave 'penalty' set to its default value and use 'l1_ratio' or 'C' instead. În scikit-learn 1.8, parametrul penalty al lui LogisticRegression e învechit. Regularizarea se alege acum cu l1_ratio (0 = L2, 1 = L1) și cu C (C=np.inf = fără regularizare). Șterge penalty=... și folosește echivalentul din mesaj. InvalidParameterError: The 'max_depth' parameter of DecisionTreeClassifier must be an int in the range [1, inf) or None. Got 0 instead. Parametrul are o valoare nepermisă: max_depth trebuie să fie un întreg de la 1 în sus sau None (fără limită), iar tu ai dat 0. Mesajul îți spune exact ce valori sunt acceptate; alege una din interval. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
