ConvergenceWarning: lbfgs failed to converge after 100 iteration(s) (status=1): STOP: TOTAL NO. OF ITERATIONS REACHED LIMIT
Algoritmul de optimizare al regresiei logistice (lbfgs) s-a oprit la limita de iterații înainte să găsească soluția. E un avertisment, modelul tot e antrenat, dar poate fi slab. Scalează datele cu StandardScaler și, dacă e nevoie, mărește max_iter (de exemplu 1000).
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Regresia logistică (și alte modele, precum MLPClassifier, LinearSVC, Lasso) își caută coeficienții pas cu pas. Parametrul max_iter (implicit 100 la LogisticRegression) limitează numărul de pași. Dacă limita e atinsă înainte ca soluția să se stabilizeze, scikit-learn emite ConvergenceWarning: STOP: TOTAL NO. OF ITERATIONS REACHED LIMIT înseamnă exact „am rămas fără iterații”.
Mesajul complet îți dă și cele două reparații obișnuite: mărește numărul de iterații (max_iter=...) și scalează datele. Scalarea e de obicei cauza reală: când o caracteristică e în mii (venit în lei) și alta în unități (număr de copii), optimizarea înaintează foarte încet. Cu StandardScaler, toate caracteristicile au aceeași scară și algoritmul converge în câțiva pași. În versiunile mai vechi mesajul era lbfgs failed to converge (status=1). În editor, avertismentul e transformat în eroare cu warnings.simplefilter("error", ConvergenceWarning).
De ce apare: cauzele frecvente
1Date nescalate și limită mică de iterații
model = LogisticRegression(max_iter=20)
model.fit(X, y) # venit în lei, vechime în animodel = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000))
model.fit(X, y)Scalarea aduce caracteristicile la aceeași scară, iar max_iter mai mare lasă algoritmului timp să termine.
2Doar max_iter mărit, fără scalare
LogisticRegression(max_iter=100000).fit(X, y)make_pipeline(StandardScaler(), LogisticRegression()).fit(X, y)Cu un număr uriaș de iterații avertismentul poate dispărea, dar antrenarea e lentă. Scalarea rezolvă cauza.
3Rețea neuronală cu prea puține epoci
MLPClassifier(max_iter=50).fit(X, y)make_pipeline(StandardScaler(), MLPClassifier(max_iter=1000, random_state=0)).fit(X, y)Rețelele neuronale sunt foarte sensibile la scară și au nevoie, de obicei, de mai multe epoci.
Repară eroarea, direct în pagină
Codul de mai jos transformă avertismentele de convergență în erori și se oprește cu ConvergenceWarning: lbfgs failed to converge..., pentru că datele nu sunt scalate, iar limita de iterații e mică. Repară modelul: pune un StandardScaler înaintea regresiei logistice, într-un pipeline, și mărește max_iter la 1000, ca programul să afișeze acuratețea.
import warnings
import numpy as np
from sklearn.exceptions import ConvergenceWarning
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
warnings.simplefilter("error", ConvergenceWarning)
# venit lunar (lei), vechime la job (ani)
X = np.array([[2800, 1], [3000, 6], [3500, 2], [4000, 8], [5200, 1], [6100, 3], [6500, 9], [7000, 2], [8000, 5], [9000, 1]], dtype=float)
y = np.array([0, 1, 0, 1, 0, 1, 1, 1, 1, 1])
model = LogisticRegression(max_iter=20)
model.fit(X, y)
print("Acuratete:", model.score(X, y))Acuratete: 1.0
Indiciu
Folosește make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)).
Reparația
import warnings
import numpy as np
from sklearn.exceptions import ConvergenceWarning
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
warnings.simplefilter("error", ConvergenceWarning)
# venit lunar (lei), vechime la job (ani)
X = np.array([[2800, 1], [3000, 6], [3500, 2], [4000, 8], [5200, 1], [6100, 3], [6500, 9], [7000, 2], [8000, 5], [9000, 1]], dtype=float)
y = np.array([0, 1, 0, 1, 0, 1, 1, 1, 1, 1])
model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000))
model.fit(X, y)
print("Acuratete:", model.score(X, y))De ce merge
Venitul are valori de mii, iar vechimea de câteva unități, așa că optimizarea trebuie să ajusteze doi coeficienți cu scări total diferite și înaintează foarte încet; în 20 de pași nu ajunge la soluție. StandardScaler transformă ambele coloane astfel încât să aibă media 0 și deviația 1, iar algoritmul lbfgs converge rapid. max_iter=1000 e o plasă de siguranță, nu soluția principală. Pipeline-ul aplică aceeași scalare și la score sau predict.
Alte forme ale mesajului
ConvergenceWarning: lbfgs failed to converge (status=1): STOP: TOTAL NO. OF ITERATIONS REACHED LIMIT.ConvergenceWarning: Stochastic Optimizer: Maximum iterations (200) reached and the optimization hasn't converged yet.ConvergenceWarning: Liblinear failed to converge, increase the number of iterations.ConvergenceWarning: Objective did not converge. You might want to increase the number of iterations.
Cum o eviți pe viitor
Pune mereu un StandardScaler înaintea modelelor liniare, a SVM-urilor, a k-NN și a rețelelor neuronale, ideal într-un Pipeline. Dacă avertismentul apare și cu date scalate, mărește max_iter (1000 este o valoare uzuală) sau încearcă alt solver. Nu ascunde avertismentul cu warnings.filterwarnings("ignore"): modelul poate fi mai slab decât crezi.
Întrebări frecvente
Modelul e inutilizabil dacă apare avertismentul?
Nu neapărat. Modelul are coeficienții de la ultima iterație și poate face predicții, dar e posibil să nu fie cel mai bun. Repară cauza și compară scorul înainte și după.
De ce nu dispare avertismentul doar cu max_iter mai mare?
De obicei dispare, dar uneori datele sunt atât de dezechilibrate ca scară încât ai nevoie de foarte multe iterații. Scalarea rezolvă problema mult mai eficient.
De ce în editor se oprește programul?
Exercițiul folosește warnings.simplefilter("error", ConvergenceWarning), care transformă avertismentul în eroare, ca să-l vezi clar. Pe calculatorul tău, fără linia asta, programul ar continua.
Erori înrudite
ValueError: Input X contains NaN. Datele de intrare X au cel puțin o valoare lipsă (NaN), iar modelul nu știe să lucreze cu ea. Completează golurile înainte de fit (de exemplu cu fillna sau SimpleImputer) sau elimină rândurile incomplete cu dropna. ValueError: Invalid parameter 'C' for estimator Pipeline(steps=[('scaler', StandardScaler()), ('model', LogisticRegression())]). Valid parameters are: ['memory', 'steps', 'transform_input', 'verbose']. Ai dat lui GridSearchCV (sau lui set_params) un parametru al modelului direct pipeline-ului. Într-un pipeline, parametrii pașilor se scriu cu numele pasului și două underscore-uri: 'model__C' în loc de 'C'. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
