AttributeError: 'LinearRegression' object has no attribute 'predict_proba'
predict_proba există doar la clasificatori care estimează probabilități (LogisticRegression, arbori, k-NN, Naive Bayes). LinearRegression prezice numere, nu clase. Pentru probabilități folosește LogisticRegression; la SVC pornește probability=True.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
predict_proba întoarce, pentru fiecare exemplu, probabilitatea fiecărei clase (de exemplu 0.2 pentru „nu” și 0.8 pentru „da”). Doar modelele de clasificare care pot estima astfel de probabilități au metoda. Un model de regresie (LinearRegression, Ridge, DecisionTreeRegressor) prezice o valoare continuă, deci n-are ce probabilitate să-ți dea.
Cea mai frecventă cauză e confuzia dintre regresia liniară și cea logistică: pentru o țintă 0/1 (aprobat sau nu, spam sau nu) ai nevoie de LogisticRegression. Alte cazuri: SVC() are predict_proba doar cu probability=True; LinearSVC și RidgeClassifier nu au deloc (au decision_function); iar uneori ai ales din greșeală varianta Regressor a unui model (DecisionTreeRegressor în loc de DecisionTreeClassifier).
De ce apare: cauzele frecvente
1Regresie liniară folosită pentru o țintă 0/1
model = LinearRegression().fit(X, y) # y este 0/1
print(model.predict_proba(X_nou))model = LogisticRegression().fit(X, y)
print(model.predict_proba(X_nou))Regresia logistică trece scorul liniar prin funcția sigmoid și dă o probabilitate între 0 și 1 pentru fiecare clasă.
2Varianta de regresie a unui arbore
arbore = DecisionTreeRegressor().fit(X, y)
arbore.predict_proba(X_nou)arbore = DecisionTreeClassifier().fit(X, y)
arbore.predict_proba(X_nou)Clasificatorul numără clasele din fiecare frunză și le transformă în probabilități.
3SVC fără probability=True
model = SVC().fit(X, y)
model.predict_proba(X_nou)model = SVC(probability=True).fit(X, y)
model.predict_proba(X_nou)Fără opțiune, SVC nu calibrează probabilitățile, așa că metoda nu e disponibilă.
Repară eroarea, direct în pagină
Codul de mai jos dă AttributeError: 'LinearRegression' object has no attribute 'predict_proba', pentru că o problemă de tip da/nu (aprobat sau nu) e rezolvată cu regresie liniară. Repară-l: folosește LogisticRegression, ca programul să afișeze probabilitatea de aprobare pentru doi clienți noi.
import pandas as pd
from sklearn.linear_model import LinearRegression
df = pd.DataFrame({
"venit": [2.0, 3.5, 4.0, 5.5, 6.0, 7.5, 8.0, 3.0],
"aprobat": [0, 0, 0, 1, 1, 1, 1, 0],
})
model = LinearRegression().fit(df[["venit"]], df["aprobat"])
noi = pd.DataFrame({"venit": [2.5, 7.0]})
for v, p in zip(noi["venit"], model.predict_proba(noi)[:, 1]):
print(f"Venit {v}: probabilitate {p:.2f}")Venit 2.5: probabilitate 0.05 Venit 7.0: probabilitate 0.94
Indiciu
Importă și folosește LogisticRegression din sklearn.linear_model.
Reparația
import pandas as pd
from sklearn.linear_model import LogisticRegression
df = pd.DataFrame({
"venit": [2.0, 3.5, 4.0, 5.5, 6.0, 7.5, 8.0, 3.0],
"aprobat": [0, 0, 0, 1, 1, 1, 1, 0],
})
model = LogisticRegression().fit(df[["venit"]], df["aprobat"])
noi = pd.DataFrame({"venit": [2.5, 7.0]})
for v, p in zip(noi["venit"], model.predict_proba(noi)[:, 1]):
print(f"Venit {v}: probabilitate {p:.2f}")De ce merge
Regresia liniară trage o dreaptă prin puncte și poate prezice orice număr, deci nu are noțiunea de probabilitate. Regresia logistică calculează tot un scor liniar, dar îl trece prin funcția sigmoid, care îl aduce între 0 și 1. predict_proba întoarce două coloane, una pentru clasa 0 și una pentru clasa 1, iar [:, 1] ia probabilitatea de aprobare. Clientul cu venit mic primește o probabilitate mică, iar cel cu venit mare una mare.
Alte forme ale mesajului
AttributeError: 'DecisionTreeRegressor' object has no attribute 'predict_proba'AttributeError: 'LinearSVC' object has no attribute 'predict_proba'AttributeError: This 'SVC' has no attribute 'predict_proba'
Cum o eviți pe viitor
Alege modelul după tipul țintei: valori continue (preț, durată) înseamnă regresie, clase (da/nu, categorii) înseamnă clasificare. Pentru clasificare cu probabilități, pornește de la LogisticRegression. Verifică numele clasei: ...Classifier vs ...Regressor. Dacă un model nu are predict_proba, uită-te după decision_function, care dă un scor de încredere.
Întrebări frecvente
Pot folosi LinearRegression pe o țintă 0/1 și să tratez rezultatul ca probabilitate?
Nu e o idee bună: regresia liniară poate da valori sub 0 sau peste 1, care nu sunt probabilități. Regresia logistică e construită exact pentru cazul acesta.
Ce înseamnă coloanele din predict_proba?
Câte o coloană pentru fiecare clasă, în ordinea din model.classes_. Pentru clasele [0, 1], a doua coloană ([:, 1]) este probabilitatea clasei 1.
Erori înrudite
ValueError: Unknown label type: continuous. Maybe you are trying to fit a classifier, which expects discrete classes on a regression target with continuous values. Ai dat unui clasificator o țintă cu valori continue (prețuri, note cu zecimale), iar el așteaptă clase. Dacă vrei să prezici un număr, folosește un model de regresie (LinearRegression, DecisionTreeRegressor); dacă vrei clase, transformă ținta în categorii, de exemplu cu un prag. AttributeError: 'LinearRegression' object has no attribute 'coef_' Atributele cu underscore la final (coef_, intercept_, classes_, feature_importances_) există doar după fit. Antrenează modelul înainte să le citești. Dacă modelul e antrenat, verifică numele atributului: unele modele nu au coef_ (de exemplu arborii). Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
