UnicodeDecodeError: 'charmap' codec can't decode byte 0x9d in position 80: character maps to <undefined>
Fișierul e salvat în UTF-8 (cu diacritice și ghilimele „”), dar a fost deschis cu altă codificare: pe Windows, open() fără encoding folosește cp1252. Deschide documentele mereu cu open(cale, encoding="utf-8").
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Un fișier text e o secvență de octeți; codificarea spune cum se transformă octeții în caractere. În UTF-8, „ț” e scris pe doi octeți, iar ghilimeaua românească de închidere „”” pe trei (E2 80 9D). Codificarea cp1252 (charmap în mesaj) citește fiecare octet separat, iar octetul 0x9d nu are niciun caracter asociat acolo, de unde character maps to <undefined>.
Pe Windows, open() fără encoding folosește codificarea sistemului (de obicei cp1252), pe macOS și Linux folosește UTF-8. De aceea indexarea documentelor merge la un coleg și cade la altul. Poziția din mesaj e numărul octetului din fișier unde a apărut problema.
Când citirea „reușește” cu codificarea greșită, e și mai rău: diacriticele devin È›, iar embeddings-urile și căutarea se strică pe tăcute. În editorul nostru, comportamentul Windows e reprodus prin encoding="cp1252".
De ce apare: cauzele frecvente
1open() fără encoding pe Windows
with open("regulament.txt") as f:
text = f.read()with open("regulament.txt", encoding="utf-8") as f:
text = f.read()Fără encoding, Python folosește codificarea sistemului. Cu utf-8 explicit, codul merge la fel peste tot.
2Fișier salvat cu BOM de Notepad
text = open(cale, encoding="utf-8").read() # începe cu '\ufeff'text = open(cale, encoding="utf-8-sig").read()utf-8-sig elimină marcajul BOM de la începutul fișierelor salvate de unele editoare.
Repară eroarea, direct în pagină
Asistentul RAG citește regulamentul din regulament.txt, salvat în UTF-8. Codul a fost scris pe Windows, unde open() fără encoding folosește cp1252 (în editor, simulat cu encoding="cp1252"), iar citirea cade cu 'charmap' codec can't decode byte 0x9d. Repară citirea cu UTF-8. Programul afișează numărul de paragrafe și paragraful cel mai apropiat de întrebare.
import math
from openai import OpenAI
MODEL_EMB = "text-embedding-3-small"
client = OpenAI()
def cosinus(a, b):
produs = sum(x * y for x, y in zip(a, b))
return produs / (math.sqrt(sum(x * x for x in a)) * math.sqrt(sum(y * y for y in b)))
with open("regulament.txt", encoding="cp1252") as f: # ca open() fără encoding pe Windows
text = f.read()
paragrafe = [p.strip() for p in text.split("\n\n") if p.strip()]
print("Paragrafe:", len(paragrafe))
intrebare = "În câte zile primesc banii înapoi?"
r = client.embeddings.create(model=MODEL_EMB, input=paragrafe + [intrebare])
vectori = [item.embedding for item in r.data]
scoruri = [cosinus(v, vectori[-1]) for v in vectori[:-1]]
print("Cel mai apropiat:", paragrafe[scoruri.index(max(scoruri))])Paragrafe: 4 Cel mai apropiat: Banii se restituie în contul cardului în cel mult 14 zile.
Indiciu
open("regulament.txt", encoding="utf-8")
Reparația
import math
from openai import OpenAI
MODEL_EMB = "text-embedding-3-small"
client = OpenAI()
def cosinus(a, b):
produs = sum(x * y for x, y in zip(a, b))
return produs / (math.sqrt(sum(x * x for x in a)) * math.sqrt(sum(y * y for y in b)))
with open("regulament.txt", encoding="utf-8") as f:
text = f.read()
paragrafe = [p.strip() for p in text.split("\n\n") if p.strip()]
print("Paragrafe:", len(paragrafe))
intrebare = "În câte zile primesc banii înapoi?"
r = client.embeddings.create(model=MODEL_EMB, input=paragrafe + [intrebare])
vectori = [item.embedding for item in r.data]
scoruri = [cosinus(v, vectori[-1]) for v in vectori[:-1]]
print("Cel mai apropiat:", paragrafe[scoruri.index(max(scoruri))])De ce merge
Fișierul e în UTF-8, unde ghilimeaua „”” ocupă trei octeți, printre care 0x9d, un octet fără caracter în cp1252. Citit cu codificarea în care a fost salvat, textul se decodează corect, cu tot cu diacritice, iar paragrafele ajung intacte în embeddings. Cu o codificare greșită, chiar și când citirea nu cade, căutarea ar compara texte stricate.
Alte forme ale mesajului
UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 1023: character maps to <undefined>UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe2 in position 12: invalid continuation byteUnicodeEncodeError: 'charmap' codec can't encode character '\u021b' in position 5: character maps to <undefined>
Cum o eviți pe viitor
- Pune
encoding="utf-8"la fiecareopen()de fișier text, la citire și la scriere. - Salvează documentele în UTF-8 în editor.
- Pe Windows, poți activa modul UTF-8 al lui Python cu variabila de mediu
PYTHONUTF8=1. - Verifică după încărcare că diacriticele arată corect (de exemplu caută „ț” în text).
Întrebări frecvente
De ce la mine merge și la coleg nu?
Probabil tu ești pe macOS sau Linux (UTF-8 implicit), iar colegul pe Windows (cp1252 implicit). Cu encoding="utf-8" explicit, rezultatul e același peste tot.
Pot pune errors="ignore"?
Elimini eroarea, dar pierzi caracterele care nu se pot citi, iar textul ajunge stricat în embeddings. Repară codificarea, nu ascunde eroarea.
Erori înrudite
FileNotFoundError: [Errno 2] No such file or directory: 'index_vectori.json' Programul încearcă să încarce indexul de embeddings salvat pe disc, dar fișierul nu există încă (prima rulare, alt director de lucru sau alt nume). Verifică os.path.exists înainte: dacă lipsește, calculează vectorii, salvează-i, iar la rulările următoare încarcă-i. openai.BadRequestError: Error code: 400 - '$.input' is invalid. Please check the API reference: https://platform.openai.com/docs/api-reference. Lista trimisă la embeddings.create conține un text gol (sau ceva care nu e text, de exemplu None). De obicei vine din împărțirea documentului: split("\n\n") lasă bucăți goale la final sau între secțiuni. Filtrează bucățile goale înainte de apel. ValueError: zip() argument 2 is longer than argument 1 Compari doi vectori de embeddings cu lungimi diferite: de obicei indexul a fost construit cu alt model sau cu alt `dimensions` decât întrebarea. Generează vectorii documentelor și ai întrebării cu același model și aceleași setări, și verifică `len(a) == len(b)` înainte de similaritate. Învață Aplicații AI cu LLM de la zero, cu exerciții la fiecare lecție
Curs Aplicații AI cu Claude și OpenAI: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 8 lecții sunt gratuite.
