ValueError: Duplicate term in vocabulary: 'oferta'
Lista dată în `CountVectorizer(vocabulary=[...])` sau `TfidfVectorizer(vocabulary=[...])` conține același cuvânt de două ori. Fiecare cuvânt din vocabular trebuie să aibă o singură coloană. Elimină dublurile, păstrând ordinea, de exemplu cu `list(dict.fromkeys(cuvinte))`.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Când dai vocabularul de mână, vectorizatorul face câte o coloană pentru fiecare cuvânt, în ordinea din listă. Dacă un cuvânt apare de două ori, ar trebui să aibă două coloane, ceea ce nu are sens: același cuvânt ar fi numărat în două locuri. scikit-learn verifică lista și îți spune exact ce cuvânt e dublat.
Dublurile apar când construiești vocabularul din mai multe surse (cuvinte-cheie din mai multe fișiere, liste lipite), când normalizezi textul (litere mici, fără diacritice) și două forme diferite devin identice, sau când ai copiat aceeași listă de două ori.
Dacă dai vocabularul ca dicționar {cuvânt: index}, dublurile nu sunt posibile pe chei, dar indicii repetați dau ValueError: Vocabulary contains repeated indices.
De ce apare: cauzele frecvente
1Liste de cuvinte-cheie lipite
vocab = cuvinte_marketing + cuvinte_spam
CountVectorizer(vocabulary=vocab)vocab = list(dict.fromkeys(cuvinte_marketing + cuvinte_spam))
CountVectorizer(vocabulary=vocab)dict.fromkeys păstrează doar prima apariție a fiecărui cuvânt, în ordinea inițială.
2Forme care devin identice după normalizare
vocab = [w.lower() for w in ["Oferta", "oferta", "Reducere"]]vocab = sorted({w.lower() for w in ["Oferta", "oferta", "Reducere"]})O mulțime elimină dublurile apărute după transformare; sorted dă o ordine stabilă.
3Dicționar cu indici repetați
CountVectorizer(vocabulary={"azi": 0, "ieri": 0})CountVectorizer(vocabulary={"azi": 0, "ieri": 1})Fiecare cuvânt trebuie să aibă propria coloană, cu indici de la 0 fără goluri.
Repară eroarea, direct în pagină
Codul de mai jos dă ValueError: Duplicate term in vocabulary: 'oferta', pentru că lista de cuvinte-cheie e lipită din două liste care au un cuvânt comun. Elimină dublurile păstrând ordinea, ca programul să afișeze vocabularul și numărătorile.
from sklearn.feature_extraction.text import CountVectorizer
marketing = ["oferta", "reducere"]
spam = ["gratuit", "oferta", "castiga"]
vocab = marketing + spam
vec = CountVectorizer(vocabulary=vocab)
X = vec.transform(["oferta reducere oferta", "castiga gratuit azi"])
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])
print(X.toarray().tolist())Vocabular: ['oferta', 'reducere', 'gratuit', 'castiga'] [[2, 1, 0, 0], [0, 0, 1, 1]]
Indiciu
Folosește list(dict.fromkeys(marketing + spam)).
Reparația
from sklearn.feature_extraction.text import CountVectorizer
marketing = ["oferta", "reducere"]
spam = ["gratuit", "oferta", "castiga"]
vocab = list(dict.fromkeys(marketing + spam))
vec = CountVectorizer(vocabulary=vocab)
X = vec.transform(["oferta reducere oferta", "castiga gratuit azi"])
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])
print(X.toarray().tolist())De ce merge
dict.fromkeys păstrează fiecare cuvânt o singură dată, la prima apariție, deci vocabularul are patru cuvinte distincte. Vectorizatorul face câte o coloană pentru fiecare și numără: primul mesaj are „oferta” de două ori și „reducere” o dată. Pentru că vocabularul e dat, transform merge fără fit.
Alte forme ale mesajului
ValueError: Duplicate term in vocabulary: 'gratuit'ValueError: Vocabulary contains repeated indices.
Cum o eviți pe viitor
Construiește vocabularul printr-o singură funcție care normalizează cuvintele (litere mici, aceeași regulă pentru diacritice) și elimină dublurile la final. Verifică cu len(vocab) == len(set(vocab)) înainte să îl dai vectorizatorului. De cele mai multe ori nu ai nevoie de vocabular dat de mână: lasă vectorizatorul să îl învețe la fit și controlează-l cu min_df, max_df și max_features.
Întrebări frecvente
Când are sens să dau vocabularul de mână?
Când vrei exact anumite coloane, în ordine fixă, de exemplu ca să compari modele antrenate separat sau ca să numeri doar câteva cuvinte-cheie. În rest, e mai simplu să îl învețe vectorizatorul.
Contează ordinea cuvintelor din vocabular?
Da: ordinea din listă dă ordinea coloanelor. Dacă schimbi ordinea, un model deja antrenat va primi coloanele amestecate.
Erori înrudite
NotFittedError: Vocabulary not fitted or provided Ai apelat `transform` (sau `get_feature_names_out`) pe un `CountVectorizer` care încă nu a învățat vocabularul. Fă întâi `fit` sau `fit_transform` pe textele de antrenare, apoi `transform` pe cele noi, cu același obiect. ValueError: empty vocabulary; perhaps the documents only contain stop words CountVectorizer sau TfidfVectorizer n-a găsit niciun cuvânt în texte: toate au fost goale, eliminate ca stop words sau prea scurte (implicit, un cuvânt are minimum 2 caractere). Afișează textele exact cum ajung la vectorizer și verifică curățarea, stop_words și token_pattern. UserWarning: The parameter 'token_pattern' will not be used since 'tokenizer' is not None' Ai dat vectorizatorului propriul `tokenizer`, deci `token_pattern` (expresia regulată implicită pentru cuvinte) e ignorat, iar scikit-learn te avertizează. Dacă vrei tokenizatorul tău, adaugă `token_pattern=None`; dacă vrei doar altă regulă pentru cuvinte, renunță la `tokenizer` și schimbă `token_pattern`. Învață Machine Learning de la zero, cu exerciții la fiecare lecție
Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
