bufio.Scanner: token too long
O linie din date e mai lungă decât limita implicită a lui bufio.Scanner (64 KB), așa că Scan() se oprește și s.Err() întoarce eroarea. Mărește bufferul cu s.Buffer(make([]byte, 0, 1024*1024), 10*1024*1024) înainte de prima citire, sau folosește bufio.Reader pentru linii foarte lungi.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
bufio.Scanner citește câte un „token” (implicit o linie) într-un buffer cu dimensiune maximă bufio.MaxScanTokenSize = 64 * 1024 octeți. Dacă o linie e mai lungă, scanner-ul nu o poate ține, iar Scan() întoarce false, exact ca la sfârșitul datelor. Diferența o vezi doar în s.Err(): bufio.Scanner: token too long.
De aceea eroarea e adesea tăcută: dacă nu verifici s.Err() după buclă, programul pur și simplu procesează mai puține linii, fără niciun mesaj. Apare la fișiere JSON pe o singură linie, loguri cu stive lungi, exporturi CSV cu câmpuri mari sau răspunsuri minificate.
Reparația: s.Buffer(buf, max) setează bufferul inițial și limita maximă, și trebuie apelată înainte de primul Scan().
De ce apare: cauzele frecvente
1Linie mai lungă de 64 KB
s := bufio.NewScanner(f)
for s.Scan() {
proceseaza(s.Text())
}s := bufio.NewScanner(f)
s.Buffer(make([]byte, 0, 64*1024), 10*1024*1024)
for s.Scan() {
proceseaza(s.Text())
}
if err := s.Err(); err != nil {
return err
}Limita urcă la 10 MB, iar verificarea lui s.Err() face orice altă problemă vizibilă.
2Eroarea nu e verificată deloc
for s.Scan() {
n++
}
fmt.Println("linii:", n)for s.Scan() {
n++
}
if err := s.Err(); err != nil {
log.Fatalf("citire oprită după %d linii: %v", n, err)
}Fără s.Err(), o linie prea lungă arată ca sfârșitul fișierului și pierzi restul datelor fără să afli.
3Linii de lungime nelimitată
s := bufio.NewScanner(conn)r := bufio.NewReader(conn)
linie, err := r.ReadString('\n')bufio.Reader.ReadString crește bufferul cât e nevoie; potrivit când nu poți fixa o limită.
Repară eroarea, direct în pagină
Programul numără liniile și caracterele dintr-un log, dar a doua linie are 100.000 de caractere, iar scanner-ul se oprește cu bufio.Scanner: token too long. Mărește bufferul scanner-ului ca programul să afișeze Linii: 3, caractere: 100013.
package main
import (
"bufio"
"fmt"
"strings"
)
func main() {
log := "start\n" + strings.Repeat("x", 100000) + "\nstop1234"
s := bufio.NewScanner(strings.NewReader(log))
linii, car := 0, 0
for s.Scan() {
linii++
car += len(s.Text())
}
if err := s.Err(); err != nil {
panic(err)
}
fmt.Printf("Linii: %d, caractere: %d\n", linii, car)
}Linii: 3, caractere: 100013
Indiciu
Apelează s.Buffer(...) cu o limită maximă de cel puțin 1 MB înainte de prima citire.
Reparația
package main
import (
"bufio"
"fmt"
"strings"
)
func main() {
log := "start\n" + strings.Repeat("x", 100000) + "\nstop1234"
s := bufio.NewScanner(strings.NewReader(log))
s.Buffer(make([]byte, 0, 64*1024), 1024*1024)
linii, car := 0, 0
for s.Scan() {
linii++
car += len(s.Text())
}
if err := s.Err(); err != nil {
panic(err)
}
fmt.Printf("Linii: %d, caractere: %d\n", linii, car)
}De ce merge
Linia de 100.000 de caractere depășea limita implicită de 64 KB, iar scanner-ul s-a oprit, raportând problema în s.Err(). s.Buffer(make([]byte, 0, 64*1024), 1024*1024) pornește cu un buffer de 64 KB și îl lasă să crească până la 1 MB, deci linia încape. Caracterele: 5 (start) + 100000 + 8 (stop1234) = 100013.
Alte forme ale mesajului
panic: bufio.Scanner: token too longbufio.Scanner: SplitFunc returns advance count beyond input
Cum o eviți pe viitor
După fiecare buclă for s.Scan() verifică s.Err(); este singurul loc în care afli că citirea s-a oprit din alt motiv decât sfârșitul datelor. Când datele pot avea linii lungi (JSON minificat, loguri), setează explicit limita cu s.Buffer și alege o valoare maximă rezonabilă pentru memoria disponibilă.
Întrebări frecvente
Care e limita implicită?
bufio.MaxScanTokenSize, adică 65536 de octeți (64 KB) pentru un token, inclusiv caracterele de linie nouă.
De ce nu primesc nicio eroare și lipsesc linii?
Pentru că Scan() întoarce doar false. Eroarea apare numai în s.Err(), pe care trebuie să o verifici explicit după buclă.
Erori înrudite
EOF EOF (io.EOF) înseamnă „s-au terminat datele”, nu o defecțiune. Îl primești de la Read, ReadString, Decode când nu mai e nimic de citit, inclusiv pe ultima linie fără \n. Verifică errors.Is(err, io.EOF) și oprește bucla, după ce procesezi ce s-a citit deja. unexpected end of JSON input Textul JSON s-a terminat înainte să fie complet: lipsește o acoladă sau o paranteză de închidere, textul e trunchiat sau e chiar gol. Verifică ce primești în date (afișează-l), închide toate { și [ și tratează separat cazul în care corpul e gol. open config.json: no such file or directory Fișierul pe care încerci să-l deschizi nu există la calea dată, de cele mai multe ori pentru că o cale relativă e căutată în folderul din care rulezi programul, nu lângă fișierul .go. Verifică directorul curent și calea, iar pentru fișiere opționale tratează errors.Is(err, fs.ErrNotExist). Învață Go de la zero, cu exerciții la fiecare lecție
Curs Go: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.
