ValueError: Trailing data
pd.read_json a citit un document JSON întreg și a găsit apoi încă text. De obicei fișierul e JSON Lines (câte un obiect pe fiecare linie): citește-l cu pd.read_json(..., lines=True).
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
pd.read_json așteaptă, implicit, un singur document JSON: un obiect {...} sau o listă [...]. „Trailing data” înseamnă că după ce a terminat primul document, în fișier a mai rămas text.
Cea mai frecventă cauză e formatul JSON Lines (.jsonl, .ndjson): câte un obiect complet pe fiecare linie, fără paranteze pătrate în jur și fără virgule între ele. Așa arată exporturile din multe baze de date, loguri, API-uri de streaming și seturi de date. Fiecare linie e JSON valid, dar fișierul întreg nu e un singur document.
Mai apare când un fișier JSON a fost scris de două ori (două liste lipite) sau are text în plus la sfârșit. Deschide fișierul și uită-te la primele două rânduri: dacă fiecare începe cu {, ai JSON Lines.
De ce apare: cauzele frecvente
1Fișier JSON Lines citit ca JSON obișnuit
text = '{"id": 1}\n{"id": 2}\n'
df = pd.read_json(io.StringIO(text))text = '{"id": 1}\n{"id": 2}\n'
df = pd.read_json(io.StringIO(text), lines=True)Cu lines=True pandas citește fiecare linie ca un rând separat al tabelului.
2Două documente lipite în același fișier
with open("comenzi.json", "a") as f:
f.write(df_noi.to_json(orient="records"))toate = pd.concat([df_vechi, df_noi])
toate.to_json("comenzi.json", orient="records")Adăugarea cu "a" lipește o a doua listă după prima. Combină tabelele în pandas și scrie fișierul o singură dată (sau scrie JSON Lines cu lines=True).
Repară eroarea, direct în pagină
Exportul de comenzi de mai jos e în format JSON Lines (câte un obiect pe linie), iar pd.read_json dă ValueError: Trailing data. Repară citirea ca să afișeze numărul de comenzi și valoarea lor totală.
import io
import pandas as pd
text = '''{"id": 1, "client": "Ana", "suma": 120}
{"id": 2, "client": "Dan", "suma": 80}
{"id": 3, "client": "Ana", "suma": 45}
'''
df = pd.read_json(io.StringIO(text))
print(len(df))
print(df["suma"].sum())3 245
Indiciu
pd.read_json are o opțiune pentru câte un obiect pe linie.
Reparația
import io
import pandas as pd
text = '''{"id": 1, "client": "Ana", "suma": 120}
{"id": 2, "client": "Dan", "suma": 80}
{"id": 3, "client": "Ana", "suma": 45}
'''
df = pd.read_json(io.StringIO(text), lines=True)
print(len(df))
print(df["suma"].sum())De ce merge
Textul nu e un singur document JSON, ci trei obiecte puse unul sub altul. Fără opțiuni, read_json citește primul obiect și se plânge de restul. Cu lines=True fiecare linie devine un rând al tabelului, deci avem 3 comenzi cu suma totală 120 + 80 + 45 = 245.
Cum o eviți pe viitor
- Când primești un fișier
.jsonlsau.ndjson, folosește directlines=True. - Ca să scrii JSON Lines:
df.to_json("f.jsonl", orient="records", lines=True), și citești cu aceeași opțiune. - Nu adăuga la un fișier JSON obișnuit cu modul
"a": rescrie-l întreg. - Pentru fișiere mari JSON Lines,
chunksize=împreună culines=Truecitește pe bucăți.
Întrebări frecvente
Cum îmi dau seama dacă fișierul e JSON Lines?
Deschide-l: dacă prima linie e un obiect complet {...} și a doua linie începe iar cu {, fără [ la început și fără virgulă între ele, e JSON Lines.
Pot citi JSON Lines și cu modulul json?
Da, linie cu linie: [json.loads(l) for l in open("f.jsonl")], apoi pd.DataFrame(lista). lines=True face același lucru mai scurt.
Erori înrudite
ValueError: Expected object or value pd.read_json nu a găsit JSON valid la începutul textului. Cauze tipice: textul folosește ghilimele simple (e un dict Python afișat cu str()), fișierul e gol sau conține altceva (HTML, CSV). Generează textul cu json.dumps() și verifică ce e în fișier. pandas.errors.ParserError: Error tokenizing data. C error: Expected 5 fields in line 4, saw 6 Un rând din CSV are mai multe valori decât antetul, de obicei din cauza unei virgule în interiorul unei valori (o zecimală scrisă cu virgulă sau un text fără ghilimele). Pune valorile cu virgulă între ghilimele sau citește cu separatorul corect (sep=";"). ValueError: DataFrame constructor not properly called! pd.DataFrame() a primit un singur text sau un singur număr, nu un tabel. Cel mai des îi dai textul unui JSON sau numele unui fișier. Transformă textul în date cu json.loads() sau pd.read_json(), iar fișierele le citești cu pd.read_csv(). Învață Python pentru analiza datelor de la zero, cu exerciții la fiecare lecție
Curs Data Analysis with Python: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
