ValueError: Found unknown categories ['Iasi'] in column 0 during transform
OneHotEncoder a văzut la fit doar anumite categorii, iar la transform (pe test sau pe date noi) apare una nouă, aici 'Iasi'. Creează encoderul cu handle_unknown='ignore', ca valorile noi să devină un rând de zerouri, sau antrenează-l pe date care conțin toate categoriile.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
La fit, OneHotEncoder memorează categoriile fiecărei coloane (categories_) și creează câte o coloană 0/1 pentru fiecare. La transform, dacă apare o valoare pe care n-a văzut-o, implicit nu știe în ce coloană s-o pună și se oprește. Mesajul îți spune valoarea nouă și indexul coloanei (column 0 = prima coloană dată encoderului).
E o situație normală în practică: un oraș nou în datele de test, un produs lansat după antrenare, o greșeală de scriere ("Iași" cu diacritice vs "Iasi"). Ai trei soluții: handle_unknown="ignore" (categoria nouă devine un rând numai cu zerouri), handle_unknown="infrequent_if_exist" combinat cu min_frequency (categoriile rare și cele noi merg într-o coloană „altele”), sau curățarea textului înainte de codificare. Același tip de problemă la OrdinalEncoder se rezolvă cu handle_unknown="use_encoded_value", unknown_value=-1.
De ce apare: cauzele frecvente
1Encoder implicit, categorie nouă în test
enc = OneHotEncoder()
enc.fit(train[["oras"]])
enc.transform(test[["oras"]]) # "Iasi" nu era în trainenc = OneHotEncoder(handle_unknown="ignore")
enc.fit(train[["oras"]])
enc.transform(test[["oras"]])Cu handle_unknown="ignore", orașul nou primește 0 pe toate coloanele de oraș, iar transformarea continuă.
2Aceeași categorie scrisă diferit
test["oras"] = ["Iași", "Cluj"] # în train era "Iasi"
enc.transform(test[["oras"]])test["oras"] = test["oras"].str.replace("ș", "s")
enc.transform(test[["oras"]])Normalizezi textul la fel în train și în test, iar categoria e recunoscută.
3OrdinalEncoder cu o valoare nouă
enc = OrdinalEncoder().fit(train[["studii"]])
enc.transform(test[["studii"]])enc = OrdinalEncoder(handle_unknown="use_encoded_value", unknown_value=-1).fit(train[["studii"]])
enc.transform(test[["studii"]])Valorile necunoscute primesc codul -1 în loc să oprească programul.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: Found unknown categories ['Iasi'] in column 0 during transform, pentru că în datele noi apare un oraș pe care encoderul nu l-a văzut. Repară encoderul: creează-l cu handle_unknown="ignore", ca programul să afișeze categoriile învățate și codificarea datelor noi.
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
train = pd.DataFrame({"oras": ["Cluj", "Bucuresti", "Cluj", "Brasov"]})
noi = pd.DataFrame({"oras": ["Brasov", "Iasi"]})
enc = OneHotEncoder(sparse_output=False)
enc.fit(train)
print("Categorii:", enc.categories_[0].tolist())
print(enc.transform(noi).astype(int).tolist())Categorii: ['Brasov', 'Bucuresti', 'Cluj'] [[1, 0, 0], [0, 0, 0]]
Indiciu
Adaugă handle_unknown="ignore" la OneHotEncoder(...).
Reparația
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
train = pd.DataFrame({"oras": ["Cluj", "Bucuresti", "Cluj", "Brasov"]})
noi = pd.DataFrame({"oras": ["Brasov", "Iasi"]})
enc = OneHotEncoder(sparse_output=False, handle_unknown="ignore")
enc.fit(train)
print("Categorii:", enc.categories_[0].tolist())
print(enc.transform(noi).astype(int).tolist())De ce merge
Encoderul a învățat trei orașe și a creat trei coloane, în ordine alfabetică: Brasov, Bucuresti, Cluj. „Iasi” nu are nicio coloană, iar comportamentul implicit este să se oprească. Cu handle_unknown="ignore", un oraș necunoscut primește 0 pe toate cele trei coloane, deci rândul lui devine [0, 0, 0], iar Brasov rămâne [1, 0, 0]. Modelul care urmează în pipeline va folosi pentru Iasi doar celelalte caracteristici.
Alte forme ale mesajului
ValueError: Found unknown categories ['Timisoara'] in column 1 during transformValueError: Found unknown categories ['doctorat'] in column 0 during transform
Cum o eviți pe viitor
Construiește encoderele cu handle_unknown="ignore" din start, pentru orice model care va primi date noi. Pune encoderul într-un ColumnTransformer și Pipeline, ca să se antreneze doar pe train și să se aplice automat la predicție. Normalizează textul categoriilor (spații, majuscule, diacritice) înainte de fit și de transform.
Întrebări frecvente
Nu pierd informație dacă ignor categoria nouă?
Pierzi informația specifică acelei categorii, pe care oricum modelul nu o putea învăța, fiindcă n-a văzut-o la antrenare. Restul caracteristicilor rândului sunt folosite normal.
Pot antrena encoderul pe toate datele, ca să vadă toate categoriile?
Pentru encoder, riscul de scurgere de informație e mic, dar în producție vor apărea oricum categorii noi. handle_unknown="ignore" rezolvă și cazul acela, deci e varianta mai sigură.
Erori înrudite
ValueError: X has 3 features, but LinearRegression is expecting 2 features as input. Datele date la predict sau transform au alt număr de coloane decât cele de la fit (aici 3 în loc de 2). Datele noi trebuie să aibă exact aceleași caracteristici, în aceeași ordine, și să treacă prin aceleași transformări ca datele de antrenare. TypeError: OneHotEncoder.__init__() got an unexpected keyword argument 'sparse' Parametrul sparse al lui OneHotEncoder a fost redenumit sparse_output în scikit-learn 1.2 și eliminat în 1.4. Codul vine dintr-un tutorial mai vechi. Scrie OneHotEncoder(sparse_output=False). ValueError: could not convert string to float: 'Bucuresti' În X ai o coloană cu text (de exemplu orașul), iar modelul acceptă doar numere. Transformă coloanele de text în numere înainte de fit, cu pd.get_dummies sau OneHotEncoder, sau scoate-le din X dacă nu ai nevoie de ele. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
