...
Eroare Machine Learning · Encodere, ColumnTransformer și Pipeline

TypeError: All intermediate steps should be transformers and implement fit and transform or be the string 'passthrough' 'LogisticRegression()' (type <class 'sklearn.linear_model._logistic.LogisticRegression'>) doesn't

Pe scurt

Într-un Pipeline, toți pașii în afară de ultimul trebuie să fie transformatori (scaler, encoder, imputer), iar modelul trebuie să fie ultimul. Aici modelul a fost pus înaintea scaler-ului. Mută modelul la final: Pipeline([('scaler', StandardScaler()), ('model', LogisticRegression())]).

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Un Pipeline trimite datele prin pași, unul după altul: fiecare pas intermediar primește X, îl transformă (fit_transform) și îl dă mai departe. Ultimul pas poate fi un model, care doar se antrenează (fit) și prezice. Un model precum LogisticRegression nu are transform, deci nu poate sta la mijloc: n-ar avea ce să trimită pasului următor.

Mesajul spune exact asta și numește pasul problematic ('LogisticRegression()') cu tipul lui. Cauze: ordinea pașilor inversată; două modele puse unul după altul (pentru combinarea modelelor există VotingClassifier sau StackingClassifier); sau o funcție proprie pusă direct în pipeline în loc să fie învelită în FunctionTransformer. Eroarea apare chiar la fit, înainte de orice antrenare.

De ce apare: cauzele frecvente

1Modelul pus înaintea scaler-ului

Greșit
PYTHON
pipe = Pipeline([("model", LogisticRegression()), ("scaler", StandardScaler())])
pipe.fit(X, y)
Corect
PYTHON
pipe = Pipeline([("scaler", StandardScaler()), ("model", LogisticRegression())])
pipe.fit(X, y)

Scaler-ul transformă datele, apoi modelul învață din datele scalate. Modelul trebuie să fie ultimul.

2Două modele înlănțuite

Greșit
PYTHON
make_pipeline(DecisionTreeClassifier(), LogisticRegression())
Corect
PYTHON
VotingClassifier([("arbore", DecisionTreeClassifier()), ("lr", LogisticRegression())])

Ca să combini predicțiile mai multor modele, folosești un ansamblu, nu un pipeline.

3Funcție proprie pusă direct în pipeline

Greșit
PYTHON
make_pipeline(np.log1p, LinearRegression())
Corect
PYTHON
make_pipeline(FunctionTransformer(np.log1p), LinearRegression())

FunctionTransformer învelește o funcție obișnuită într-un obiect cu fit și transform.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă TypeError: All intermediate steps should be transformers..., pentru că regresia logistică a fost pusă înaintea scaler-ului. Repară pipeline-ul: scalarea întâi, modelul la final, ca programul să afișeze pașii și acuratețea.

Codul care dă eroarea
PYTHON
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

X = np.array([[25, 3000], [40, 7000], [35, 6500], [52, 9000], [23, 2800], [30, 4000], [45, 8000], [28, 3500]])
y = np.array([0, 1, 1, 1, 0, 0, 1, 0])

pipe = Pipeline([("model", LogisticRegression()), ("scaler", StandardScaler())])
pipe.fit(X, y)
print("Pasi:", list(pipe.named_steps))
print("Acuratete:", pipe.score(X, y))
După reparație, programul afișează
Pasi: ['scaler', 'model']
Acuratete: 1.0
Indiciu

Inversează ordinea celor doi pași din listă.

Alte forme ale mesajului

  • TypeError: All intermediate steps should be transformers and implement fit and transform or be the string 'passthrough' 'DecisionTreeClassifier()' (type <class 'sklearn.tree._classes.DecisionTreeClassifier'>) doesn't

Cum o eviți pe viitor

Scrie pipeline-ul în ordinea în care ai face pașii de mână: completare valori lipsă, codificare, scalare și, la final, modelul. Dă pașilor nume clare ("imputer", "scaler", "model"), ca ordinea să se vadă ușor. Pentru funcții proprii folosește FunctionTransformer, iar pentru combinarea modelelor, VotingClassifier sau StackingClassifier.

Întrebări frecvente

Pot avea un pipeline fără model la final?

Da. Un pipeline numai cu transformatori (de exemplu imputer + scaler) este el însuși un transformator: are fit_transform și se poate pune într-un ColumnTransformer sau într-un alt pipeline.

Ce înseamnă 'passthrough'?

Un pas care lasă datele neschimbate. E util când vrei să dezactivezi temporar un pas, de exemplu în GridSearchCV, ca să compari rezultatele cu și fără scalare.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.