...
Eroare Machine Learning · Text: CountVectorizer și TF-IDF

ValueError: Duplicate term in vocabulary: 'oferta'

Pe scurt

Lista dată în `CountVectorizer(vocabulary=[...])` sau `TfidfVectorizer(vocabulary=[...])` conține același cuvânt de două ori. Fiecare cuvânt din vocabular trebuie să aibă o singură coloană. Elimină dublurile, păstrând ordinea, de exemplu cu `list(dict.fromkeys(cuvinte))`.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Când dai vocabularul de mână, vectorizatorul face câte o coloană pentru fiecare cuvânt, în ordinea din listă. Dacă un cuvânt apare de două ori, ar trebui să aibă două coloane, ceea ce nu are sens: același cuvânt ar fi numărat în două locuri. scikit-learn verifică lista și îți spune exact ce cuvânt e dublat.

Dublurile apar când construiești vocabularul din mai multe surse (cuvinte-cheie din mai multe fișiere, liste lipite), când normalizezi textul (litere mici, fără diacritice) și două forme diferite devin identice, sau când ai copiat aceeași listă de două ori.

Dacă dai vocabularul ca dicționar {cuvânt: index}, dublurile nu sunt posibile pe chei, dar indicii repetați dau ValueError: Vocabulary contains repeated indices.

De ce apare: cauzele frecvente

1Liste de cuvinte-cheie lipite

Greșit
PYTHON
vocab = cuvinte_marketing + cuvinte_spam
CountVectorizer(vocabulary=vocab)
Corect
PYTHON
vocab = list(dict.fromkeys(cuvinte_marketing + cuvinte_spam))
CountVectorizer(vocabulary=vocab)

dict.fromkeys păstrează doar prima apariție a fiecărui cuvânt, în ordinea inițială.

2Forme care devin identice după normalizare

Greșit
PYTHON
vocab = [w.lower() for w in ["Oferta", "oferta", "Reducere"]]
Corect
PYTHON
vocab = sorted({w.lower() for w in ["Oferta", "oferta", "Reducere"]})

O mulțime elimină dublurile apărute după transformare; sorted dă o ordine stabilă.

3Dicționar cu indici repetați

Greșit
PYTHON
CountVectorizer(vocabulary={"azi": 0, "ieri": 0})
Corect
PYTHON
CountVectorizer(vocabulary={"azi": 0, "ieri": 1})

Fiecare cuvânt trebuie să aibă propria coloană, cu indici de la 0 fără goluri.

Repară tu

Repară eroarea, direct în pagină

Codul de mai jos dă ValueError: Duplicate term in vocabulary: 'oferta', pentru că lista de cuvinte-cheie e lipită din două liste care au un cuvânt comun. Elimină dublurile păstrând ordinea, ca programul să afișeze vocabularul și numărătorile.

Codul care dă eroarea
PYTHON
from sklearn.feature_extraction.text import CountVectorizer

marketing = ["oferta", "reducere"]
spam = ["gratuit", "oferta", "castiga"]
vocab = marketing + spam

vec = CountVectorizer(vocabulary=vocab)
X = vec.transform(["oferta reducere oferta", "castiga gratuit azi"])
print("Vocabular:", [str(c) for c in vec.get_feature_names_out()])
print(X.toarray().tolist())
După reparație, programul afișează
Vocabular: ['oferta', 'reducere', 'gratuit', 'castiga']
[[2, 1, 0, 0], [0, 0, 1, 1]]
Indiciu

Folosește list(dict.fromkeys(marketing + spam)).

Alte forme ale mesajului

  • ValueError: Duplicate term in vocabulary: 'gratuit'
  • ValueError: Vocabulary contains repeated indices.

Cum o eviți pe viitor

Construiește vocabularul printr-o singură funcție care normalizează cuvintele (litere mici, aceeași regulă pentru diacritice) și elimină dublurile la final. Verifică cu len(vocab) == len(set(vocab)) înainte să îl dai vectorizatorului. De cele mai multe ori nu ai nevoie de vocabular dat de mână: lasă vectorizatorul să îl învețe la fit și controlează-l cu min_df, max_df și max_features.

Întrebări frecvente

Când are sens să dau vocabularul de mână?

Când vrei exact anumite coloane, în ordine fixă, de exemplu ca să compari modele antrenate separat sau ca să numeri doar câteva cuvinte-cheie. În rest, e mai simplu să îl învețe vectorizatorul.

Contează ordinea cuvintelor din vocabular?

Da: ordinea din listă dă ordinea coloanelor. Dacă schimbi ordinea, un model deja antrenat va primi coloanele amestecate.

Erori înrudite

← Toate erorile Machine Learning

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Machine Learning de la zero, cu exerciții la fiecare lecție

Curs Machine Learning și AI pentru începători: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.