TypeError: All intermediate steps should be transformers and implement fit and transform or be the string 'passthrough' 'LogisticRegression()' (type <class 'sklearn.linear_model._logistic.LogisticRegression'>) doesn't
Într-un Pipeline, toți pașii în afară de ultimul trebuie să fie transformatori (scaler, encoder, imputer), iar modelul trebuie să fie ultimul. Aici modelul a fost pus înaintea scaler-ului. Mută modelul la final: Pipeline([('scaler', StandardScaler()), ('model', LogisticRegression())]).
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Un Pipeline trimite datele prin pași, unul după altul: fiecare pas intermediar primește X, îl transformă (fit_transform) și îl dă mai departe. Ultimul pas poate fi un model, care doar se antrenează (fit) și prezice. Un model precum LogisticRegression nu are transform, deci nu poate sta la mijloc: n-ar avea ce să trimită pasului următor.
Mesajul spune exact asta și numește pasul problematic ('LogisticRegression()') cu tipul lui. Cauze: ordinea pașilor inversată; două modele puse unul după altul (pentru combinarea modelelor există VotingClassifier sau StackingClassifier); sau o funcție proprie pusă direct în pipeline în loc să fie învelită în FunctionTransformer. Eroarea apare chiar la fit, înainte de orice antrenare.
De ce apare: cauzele frecvente
1Modelul pus înaintea scaler-ului
pipe = Pipeline([("model", LogisticRegression()), ("scaler", StandardScaler())])
pipe.fit(X, y)pipe = Pipeline([("scaler", StandardScaler()), ("model", LogisticRegression())])
pipe.fit(X, y)Scaler-ul transformă datele, apoi modelul învață din datele scalate. Modelul trebuie să fie ultimul.
2Două modele înlănțuite
make_pipeline(DecisionTreeClassifier(), LogisticRegression())VotingClassifier([("arbore", DecisionTreeClassifier()), ("lr", LogisticRegression())])Ca să combini predicțiile mai multor modele, folosești un ansamblu, nu un pipeline.
3Funcție proprie pusă direct în pipeline
make_pipeline(np.log1p, LinearRegression())make_pipeline(FunctionTransformer(np.log1p), LinearRegression())FunctionTransformer învelește o funcție obișnuită într-un obiect cu fit și transform.
Repară eroarea, direct în pagină
Codul de mai jos dă TypeError: All intermediate steps should be transformers..., pentru că regresia logistică a fost pusă înaintea scaler-ului. Repară pipeline-ul: scalarea întâi, modelul la final, ca programul să afișeze pașii și acuratețea.
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
X = np.array([[25, 3000], [40, 7000], [35, 6500], [52, 9000], [23, 2800], [30, 4000], [45, 8000], [28, 3500]])
y = np.array([0, 1, 1, 1, 0, 0, 1, 0])
pipe = Pipeline([("model", LogisticRegression()), ("scaler", StandardScaler())])
pipe.fit(X, y)
print("Pasi:", list(pipe.named_steps))
print("Acuratete:", pipe.score(X, y))Pasi: ['scaler', 'model'] Acuratete: 1.0
Indiciu
Inversează ordinea celor doi pași din listă.
Reparația
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
X = np.array([[25, 3000], [40, 7000], [35, 6500], [52, 9000], [23, 2800], [30, 4000], [45, 8000], [28, 3500]])
y = np.array([0, 1, 1, 1, 0, 0, 1, 0])
pipe = Pipeline([("scaler", StandardScaler()), ("model", LogisticRegression())])
pipe.fit(X, y)
print("Pasi:", list(pipe.named_steps))
print("Acuratete:", pipe.score(X, y))De ce merge
Într-un pipeline, fiecare pas intermediar trebuie să predea date transformate pasului următor, iar LogisticRegression nu are metoda transform, deci nu poate sta pe primul loc. Cu ordinea corectă, StandardScaler aduce vârsta și venitul la aceeași scară (media 0, deviația 1), iar regresia logistică învață pe datele scalate. La score și predict, pipeline-ul aplică automat aceeași scalare, deci nu mai e nevoie să o faci de mână.
Alte forme ale mesajului
TypeError: All intermediate steps should be transformers and implement fit and transform or be the string 'passthrough' 'DecisionTreeClassifier()' (type <class 'sklearn.tree._classes.DecisionTreeClassifier'>) doesn't
Cum o eviți pe viitor
Scrie pipeline-ul în ordinea în care ai face pașii de mână: completare valori lipsă, codificare, scalare și, la final, modelul. Dă pașilor nume clare ("imputer", "scaler", "model"), ca ordinea să se vadă ușor. Pentru funcții proprii folosește FunctionTransformer, iar pentru combinarea modelelor, VotingClassifier sau StackingClassifier.
Întrebări frecvente
Pot avea un pipeline fără model la final?
Da. Un pipeline numai cu transformatori (de exemplu imputer + scaler) este el însuși un transformator: are fit_transform și se poate pune într-un ColumnTransformer sau într-un alt pipeline.
Ce înseamnă 'passthrough'?
Un pas care lasă datele neschimbate. E util când vrei să dezactivezi temporar un pas, de exemplu în GridSearchCV, ca să compari rezultatele cu și fără scalare.
Erori înrudite
ValueError: Invalid parameter 'C' for estimator Pipeline(steps=[('scaler', StandardScaler()), ('model', LogisticRegression())]). Valid parameters are: ['memory', 'steps', 'transform_input', 'verbose']. Ai dat lui GridSearchCV (sau lui set_params) un parametru al modelului direct pipeline-ului. Într-un pipeline, parametrii pașilor se scriu cu numele pasului și două underscore-uri: 'model__C' în loc de 'C'. ValueError: A given column is not a column of the dataframe Ai dat unui ColumnTransformer o listă de coloane în care cel puțin un nume nu există în DataFrame (greșeală de scriere, diacritice, spații, coloană redenumită). Compară lista cu df.columns.tolist() și corectează numele. AttributeError: 'LinearRegression' object has no attribute 'coef_' Atributele cu underscore la final (coef_, intercept_, classes_, feature_importances_) există doar după fit. Antrenează modelul înainte să le citești. Dacă modelul e antrenat, verifică numele atributului: unele modele nu au coef_ (de exemplu arborii). Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
