PicklingError: Can't pickle <function <lambda> at 0x7f3a2c1e5d00>: it's not found as __main__.<lambda>
Modelul sau pipeline-ul pe care vrei să-l salvezi cu pickle sau joblib conține o funcție lambda, iar pickle nu poate salva funcții fără nume. Înlocuiește lambda cu o funcție numpy (np.log1p) sau cu o funcție definită cu def într-un modul importabil.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
pickle (și joblib.dump, care îl folosește) nu salvează codul funcțiilor, ci doar o referință la ele: numele modulului și numele funcției. La încărcare, Python caută funcția după acest nume. O funcție lambda nu are un nume propriu (se numește doar <lambda>), deci nu poate fi găsită din nou, iar pickle refuză s-o salveze.
În scikit-learn, problema apare când pui o lambda în FunctionTransformer, în CountVectorizer(tokenizer=lambda ...) sau în make_scorer. Antrenarea merge, dar salvarea modelului cade. În versiunile mai vechi de Python mesajul era „attribute lookup <lambda> on __main__ failed”, iar pentru funcțiile definite într-o altă funcție apare „Can't pickle local object”.
Soluția: o funcție care are nume și poate fi importată. Dacă salvezi modelul din notebook și îl încarci în alt program, funcția trebuie să fie într-un fișier .py importat de ambele.
De ce apare: cauzele frecvente
1Lambda în FunctionTransformer
FunctionTransformer(lambda x: np.log(x + 1))FunctionTransformer(np.log1p)np.log1p are un nume și un modul (numpy), deci pickle poate salva o referință la ea.
2Lambda ca tokenizer
CountVectorizer(tokenizer=lambda t: t.split(","))# in fisierul text_utils.py
def imparte_virgula(t):
return t.split(",")
CountVectorizer(tokenizer=imparte_virgula)O funcție definită cu def într-un modul importabil poate fi găsită din nou după nume la încărcare.
3Funcție definită în altă funcție
def construieste():
def dublu(x):
return x * 2
return FunctionTransformer(dublu)def dublu(x):
return x * 2
def construieste():
return FunctionTransformer(dublu)Funcțiile locale nu se pot importa din afară, deci pickle dă Can't pickle local object. Mut-o la nivelul modulului.
Repară eroarea, direct în pagină
Codul de mai jos dă PicklingError: Can't pickle <function <lambda>> la salvarea pipeline-ului, pentru că FunctionTransformer conține o lambda. Înlocuiește lambda cu funcția numpy care calculează log(x + 1), ca programul să salveze, să reîncarce modelul și să afișeze predicția.
import pickle
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import FunctionTransformer
X = np.array([[9], [99], [999], [9999]])
y = [1, 2, 3, 4]
model = make_pipeline(FunctionTransformer(lambda x: np.log10(x + 1)), LinearRegression()).fit(X, y)
date = pickle.dumps(model)
incarcat = pickle.loads(date)
print("Predictie:", round(float(incarcat.predict([[99999]])[0]), 2))Predictie: 5.0
Indiciu
np.log1p face exact np.log(x + 1).
Reparația
import pickle
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import FunctionTransformer
X = np.array([[9], [99], [999], [9999]])
y = [1, 2, 3, 4]
model = make_pipeline(FunctionTransformer(np.log1p), LinearRegression()).fit(X, y)
date = pickle.dumps(model)
incarcat = pickle.loads(date)
print("Predictie:", round(float(incarcat.predict([[99999]])[0]), 2))De ce merge
np.log1p este o funcție cu nume, din modulul numpy, așa că pickle salvează doar referința la ea și o găsește din nou la încărcare. Logaritmul natural diferă de cel în baza 10 doar printr-un factor constant, pe care regresia liniară îl absoarbe în pantă, deci predicția pentru 99999 rămâne 5.
Alte forme ale mesajului
_pickle.PicklingError: Can't pickle <function <lambda> at 0x7f8b2c3d1e40>: attribute lookup <lambda> on __main__ failedAttributeError: Can't pickle local object 'construieste.<locals>.dublu'PicklingError: Can't pickle <function <lambda> at 0x7f3a2c1e5d00>: attribute lookup <lambda> on __main__ failed
Cum o eviți pe viitor
Nu folosi lambda în obiectele pe care le salvezi. Pune funcțiile tale de preprocesare într-un modul (preprocesare.py) importat atât de scriptul de antrenare, cât și de cel care încarcă modelul. Preferă transformatoarele gata făcute din scikit-learn și funcțiile numpy. Testează salvarea și încărcarea imediat după prima antrenare, nu abia la livrare.
Întrebări frecvente
Merge cu joblib în loc de pickle?
Nu, joblib.dump folosește tot pickle pentru funcții. Biblioteca cloudpickle poate salva lambda, dar e mai sigur să folosești funcții cu nume.
Am salvat modelul, dar la încărcare primesc AttributeError: Can't get attribute. De ce?
Funcția sau clasa ta a fost găsită la salvare în __main__, dar programul care încarcă nu o are definită. Pune-o într-un modul importabil și importă-l înainte de load.
Erori înrudite
ImportError: cannot import name 'joblib' from 'sklearn.externals' Copia lui joblib inclusă în scikit-learn a fost scoasă în versiunea 0.23. Importă direct pachetul: import joblib, apoi joblib.dump(model, "model.joblib") și joblib.load("model.joblib"). joblib se instalează automat odată cu scikit-learn. TypeError: All estimators should implement fit and transform, or can be 'drop' or 'passthrough' specifiers. 'LogisticRegression()' (type <class 'sklearn.linear_model._logistic.LogisticRegression'>) doesn't. Ai pus un model (LogisticRegression, LinearRegression...) în interiorul unui ColumnTransformer. ColumnTransformer acceptă doar transformere (scalere, encodere, imputere), "drop" sau "passthrough". Pune modelul după el, într-un Pipeline: make_pipeline(ct, LogisticRegression()). TypeError: All intermediate steps should be transformers and implement fit and transform or be the string 'passthrough' 'LogisticRegression()' (type <class 'sklearn.linear_model._logistic.LogisticRegression'>) doesn't Într-un Pipeline, toți pașii în afară de ultimul trebuie să fie transformatori (scaler, encoder, imputer), iar modelul trebuie să fie ultimul. Aici modelul a fost pus înaintea scaler-ului. Mută modelul la final: Pipeline([('scaler', StandardScaler()), ('model', LogisticRegression())]). Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
