...
Eroare Machine Learning · Antrenare și predicție (fit / predict)

PicklingError: Can't pickle <function <lambda> at 0x7f3a2c1e5d00>: it's not found as __main__.<lambda>

Pe scurt

Modelul sau pipeline-ul pe care vrei să-l salvezi cu pickle sau joblib conține o funcție lambda, iar pickle nu poate salva funcții fără nume. Înlocuiește lambda cu o funcție numpy (np.log1p) sau cu o funcție definită cu def într-un modul importabil.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

pickle (și joblib.dump, care îl folosește) nu salvează codul funcțiilor, ci doar o referință la ele: numele modulului și numele funcției. La încărcare, Python caută funcția după acest nume. O funcție lambda nu are un nume propriu (se numește doar <lambda>), deci nu poate fi găsită din nou, iar pickle refuză s-o salveze.

În scikit-learn, problema apare când pui o lambda în FunctionTransformer, în CountVectorizer(tokenizer=lambda ...) sau în make_scorer. Antrenarea merge, dar salvarea modelului cade. În versiunile mai vechi de Python mesajul era „attribute lookup <lambda> on __main__ failed”, iar pentru funcțiile definite într-o altă funcție apare „Can't pickle local object”.

Soluția: o funcție care are nume și poate fi importată. Dacă salvezi modelul din notebook și îl încarci în alt program, funcția trebuie să fie într-un fișier .py importat de ambele.

De ce apare: cauzele frecvente

1Lambda în FunctionTransformer

Greșit
PYTHON
FunctionTransformer(lambda x: np.log(x + 1))
Corect
PYTHON
FunctionTransformer(np.log1p)

np.log1p are un nume și un modul (numpy), deci pickle poate salva o referință la ea.

2Lambda ca tokenizer

Greșit
PYTHON
CountVectorizer(tokenizer=lambda t: t.split(","))
Corect
PYTHON
# in fisierul text_utils.py
def imparte_virgula(t):
    return t.split(",")

CountVectorizer(tokenizer=imparte_virgula)

O funcție definită cu def într-un modul importabil poate fi găsită din nou după nume la încărcare.

3Funcție definită în altă funcție

Greșit
PYTHON
def construieste():
    def dublu(x):
        return x * 2
    return FunctionTransformer(dublu)
Corect
PYTHON
def dublu(x):
    return x * 2

def construieste():
    return FunctionTransformer(dublu)

Funcțiile locale nu se pot importa din afară, deci pickle dă Can't pickle local object. Mut-o la nivelul modulului.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă PicklingError: Can't pickle <function <lambda>> la salvarea pipeline-ului, pentru că FunctionTransformer conține o lambda. Înlocuiește lambda cu funcția numpy care calculează log(x + 1), ca programul să salveze, să reîncarce modelul și să afișeze predicția.

Codul care dă eroarea
PYTHON
import pickle
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import FunctionTransformer

X = np.array([[9], [99], [999], [9999]])
y = [1, 2, 3, 4]

model = make_pipeline(FunctionTransformer(lambda x: np.log10(x + 1)), LinearRegression()).fit(X, y)
date = pickle.dumps(model)
incarcat = pickle.loads(date)
print("Predictie:", round(float(incarcat.predict([[99999]])[0]), 2))
După reparație, programul afișează
Predictie: 5.0
Indiciu

np.log1p face exact np.log(x + 1).

Alte forme ale mesajului

  • _pickle.PicklingError: Can't pickle <function <lambda> at 0x7f8b2c3d1e40>: attribute lookup <lambda> on __main__ failed
  • AttributeError: Can't pickle local object 'construieste.<locals>.dublu'
  • PicklingError: Can't pickle <function <lambda> at 0x7f3a2c1e5d00>: attribute lookup <lambda> on __main__ failed

Cum o eviți pe viitor

Nu folosi lambda în obiectele pe care le salvezi. Pune funcțiile tale de preprocesare într-un modul (preprocesare.py) importat atât de scriptul de antrenare, cât și de cel care încarcă modelul. Preferă transformatoarele gata făcute din scikit-learn și funcțiile numpy. Testează salvarea și încărcarea imediat după prima antrenare, nu abia la livrare.

Întrebări frecvente

Merge cu joblib în loc de pickle?

Nu, joblib.dump folosește tot pickle pentru funcții. Biblioteca cloudpickle poate salva lambda, dar e mai sigur să folosești funcții cu nume.

Am salvat modelul, dar la încărcare primesc AttributeError: Can't get attribute. De ce?

Funcția sau clasa ta a fost găsită la salvare în __main__, dar programul care încarcă nu o are definită. Pune-o într-un modul importabil și importă-l înainte de load.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.