...
Eroare Aplicații AI cu LLM · Embeddings și RAG

UnicodeDecodeError: 'charmap' codec can't decode byte 0x9d in position 80: character maps to <undefined>

Pe scurt

Fișierul e salvat în UTF-8 (cu diacritice și ghilimele „”), dar a fost deschis cu altă codificare: pe Windows, open() fără encoding folosește cp1252. Deschide documentele mereu cu open(cale, encoding="utf-8").

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

Un fișier text e o secvență de octeți; codificarea spune cum se transformă octeții în caractere. În UTF-8, „ț” e scris pe doi octeți, iar ghilimeaua românească de închidere „”” pe trei (E2 80 9D). Codificarea cp1252 (charmap în mesaj) citește fiecare octet separat, iar octetul 0x9d nu are niciun caracter asociat acolo, de unde character maps to <undefined>.

Pe Windows, open() fără encoding folosește codificarea sistemului (de obicei cp1252), pe macOS și Linux folosește UTF-8. De aceea indexarea documentelor merge la un coleg și cade la altul. Poziția din mesaj e numărul octetului din fișier unde a apărut problema.

Când citirea „reușește” cu codificarea greșită, e și mai rău: diacriticele devin È›, iar embeddings-urile și căutarea se strică pe tăcute. În editorul nostru, comportamentul Windows e reprodus prin encoding="cp1252".

De ce apare: cauzele frecvente

1open() fără encoding pe Windows

Greșit
PYTHON
with open("regulament.txt") as f:
    text = f.read()
Corect
PYTHON
with open("regulament.txt", encoding="utf-8") as f:
    text = f.read()

Fără encoding, Python folosește codificarea sistemului. Cu utf-8 explicit, codul merge la fel peste tot.

2Fișier salvat cu BOM de Notepad

Greșit
PYTHON
text = open(cale, encoding="utf-8").read()   # începe cu '\ufeff'
Corect
PYTHON
text = open(cale, encoding="utf-8-sig").read()

utf-8-sig elimină marcajul BOM de la începutul fișierelor salvate de unele editoare.

Repară tu

Repară eroarea, direct în pagină

Asistentul RAG citește regulamentul din regulament.txt, salvat în UTF-8. Codul a fost scris pe Windows, unde open() fără encoding folosește cp1252 (în editor, simulat cu encoding="cp1252"), iar citirea cade cu 'charmap' codec can't decode byte 0x9d. Repară citirea cu UTF-8. Programul afișează numărul de paragrafe și paragraful cel mai apropiat de întrebare.

Codul care dă eroarea
PYTHON
import math

from openai import OpenAI

MODEL_EMB = "text-embedding-3-small"
client = OpenAI()


def cosinus(a, b):
    produs = sum(x * y for x, y in zip(a, b))
    return produs / (math.sqrt(sum(x * x for x in a)) * math.sqrt(sum(y * y for y in b)))


with open("regulament.txt", encoding="cp1252") as f:  # ca open() fără encoding pe Windows
    text = f.read()
paragrafe = [p.strip() for p in text.split("\n\n") if p.strip()]
print("Paragrafe:", len(paragrafe))

intrebare = "În câte zile primesc banii înapoi?"
r = client.embeddings.create(model=MODEL_EMB, input=paragrafe + [intrebare])
vectori = [item.embedding for item in r.data]
scoruri = [cosinus(v, vectori[-1]) for v in vectori[:-1]]
print("Cel mai apropiat:", paragrafe[scoruri.index(max(scoruri))])
După reparație, programul afișează
Paragrafe: 4
Cel mai apropiat: Banii se restituie în contul cardului în cel mult 14 zile.
Indiciu

open("regulament.txt", encoding="utf-8")

Alte forme ale mesajului

  • UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 1023: character maps to <undefined>
  • UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe2 in position 12: invalid continuation byte
  • UnicodeEncodeError: 'charmap' codec can't encode character '\u021b' in position 5: character maps to <undefined>

Cum o eviți pe viitor

  • Pune encoding="utf-8" la fiecare open() de fișier text, la citire și la scriere.
  • Salvează documentele în UTF-8 în editor.
  • Pe Windows, poți activa modul UTF-8 al lui Python cu variabila de mediu PYTHONUTF8=1.
  • Verifică după încărcare că diacriticele arată corect (de exemplu caută „ț” în text).

Întrebări frecvente

De ce la mine merge și la coleg nu?

Probabil tu ești pe macOS sau Linux (UTF-8 implicit), iar colegul pe Windows (cp1252 implicit). Cu encoding="utf-8" explicit, rezultatul e același peste tot.

Pot pune errors="ignore"?

Elimini eroarea, dar pierzi caracterele care nu se pot citi, iar textul ajunge stricat în embeddings. Repară codificarea, nu ascunde eroarea.

Erori înrudite

← Toate erorile Aplicații AI cu LLM

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Aplicații AI cu LLM de la zero, cu exerciții la fiecare lecție

Curs Aplicații AI cu Claude și OpenAI: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 8 lecții sunt gratuite.