...
Eroare Machine Learning · Encodere, ColumnTransformer și Pipeline

ValueError: Found unknown categories ['Iasi'] in column 0 during transform

Pe scurt

OneHotEncoder a văzut la fit doar anumite categorii, iar la transform (pe test sau pe date noi) apare una nouă, aici 'Iasi'. Creează encoderul cu handle_unknown='ignore', ca valorile noi să devină un rând de zerouri, sau antrenează-l pe date care conțin toate categoriile.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

La fit, OneHotEncoder memorează categoriile fiecărei coloane (categories_) și creează câte o coloană 0/1 pentru fiecare. La transform, dacă apare o valoare pe care n-a văzut-o, implicit nu știe în ce coloană s-o pună și se oprește. Mesajul îți spune valoarea nouă și indexul coloanei (column 0 = prima coloană dată encoderului).

E o situație normală în practică: un oraș nou în datele de test, un produs lansat după antrenare, o greșeală de scriere ("Iași" cu diacritice vs "Iasi"). Ai trei soluții: handle_unknown="ignore" (categoria nouă devine un rând numai cu zerouri), handle_unknown="infrequent_if_exist" combinat cu min_frequency (categoriile rare și cele noi merg într-o coloană „altele”), sau curățarea textului înainte de codificare. Același tip de problemă la OrdinalEncoder se rezolvă cu handle_unknown="use_encoded_value", unknown_value=-1.

De ce apare: cauzele frecvente

1Encoder implicit, categorie nouă în test

Greșit
PYTHON
enc = OneHotEncoder()
enc.fit(train[["oras"]])
enc.transform(test[["oras"]])  # "Iasi" nu era în train
Corect
PYTHON
enc = OneHotEncoder(handle_unknown="ignore")
enc.fit(train[["oras"]])
enc.transform(test[["oras"]])

Cu handle_unknown="ignore", orașul nou primește 0 pe toate coloanele de oraș, iar transformarea continuă.

2Aceeași categorie scrisă diferit

Greșit
PYTHON
test["oras"] = ["Iași", "Cluj"]  # în train era "Iasi"
enc.transform(test[["oras"]])
Corect
PYTHON
test["oras"] = test["oras"].str.replace("ș", "s")
enc.transform(test[["oras"]])

Normalizezi textul la fel în train și în test, iar categoria e recunoscută.

3OrdinalEncoder cu o valoare nouă

Greșit
PYTHON
enc = OrdinalEncoder().fit(train[["studii"]])
enc.transform(test[["studii"]])
Corect
PYTHON
enc = OrdinalEncoder(handle_unknown="use_encoded_value", unknown_value=-1).fit(train[["studii"]])
enc.transform(test[["studii"]])

Valorile necunoscute primesc codul -1 în loc să oprească programul.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: Found unknown categories ['Iasi'] in column 0 during transform, pentru că în datele noi apare un oraș pe care encoderul nu l-a văzut. Repară encoderul: creează-l cu handle_unknown="ignore", ca programul să afișeze categoriile învățate și codificarea datelor noi.

Codul care dă eroarea
PYTHON
import pandas as pd
from sklearn.preprocessing import OneHotEncoder

train = pd.DataFrame({"oras": ["Cluj", "Bucuresti", "Cluj", "Brasov"]})
noi = pd.DataFrame({"oras": ["Brasov", "Iasi"]})

enc = OneHotEncoder(sparse_output=False)
enc.fit(train)
print("Categorii:", enc.categories_[0].tolist())
print(enc.transform(noi).astype(int).tolist())
După reparație, programul afișează
Categorii: ['Brasov', 'Bucuresti', 'Cluj']
[[1, 0, 0], [0, 0, 0]]
Indiciu

Adaugă handle_unknown="ignore" la OneHotEncoder(...).

Alte forme ale mesajului

  • ValueError: Found unknown categories ['Timisoara'] in column 1 during transform
  • ValueError: Found unknown categories ['doctorat'] in column 0 during transform

Cum o eviți pe viitor

Construiește encoderele cu handle_unknown="ignore" din start, pentru orice model care va primi date noi. Pune encoderul într-un ColumnTransformer și Pipeline, ca să se antreneze doar pe train și să se aplice automat la predicție. Normalizează textul categoriilor (spații, majuscule, diacritice) înainte de fit și de transform.

Întrebări frecvente

Nu pierd informație dacă ignor categoria nouă?

Pierzi informația specifică acelei categorii, pe care oricum modelul nu o putea învăța, fiindcă n-a văzut-o la antrenare. Restul caracteristicilor rândului sunt folosite normal.

Pot antrena encoderul pe toate datele, ca să vadă toate categoriile?

Pentru encoder, riscul de scurgere de informație e mic, dar în producție vor apărea oricum categorii noi. handle_unknown="ignore" rezolvă și cazul acela, deci e varianta mai sigură.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.