...
Eroare Go · Fișiere, timp și rețea

bufio.Scanner: token too long

Pe scurt

O linie din date e mai lungă decât limita implicită a lui bufio.Scanner (64 KB), așa că Scan() se oprește și s.Err() întoarce eroarea. Mărește bufferul cu s.Buffer(make([]byte, 0, 1024*1024), 10*1024*1024) înainte de prima citire, sau folosește bufio.Reader pentru linii foarte lungi.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

bufio.Scanner citește câte un „token” (implicit o linie) într-un buffer cu dimensiune maximă bufio.MaxScanTokenSize = 64 * 1024 octeți. Dacă o linie e mai lungă, scanner-ul nu o poate ține, iar Scan() întoarce false, exact ca la sfârșitul datelor. Diferența o vezi doar în s.Err(): bufio.Scanner: token too long.

De aceea eroarea e adesea tăcută: dacă nu verifici s.Err() după buclă, programul pur și simplu procesează mai puține linii, fără niciun mesaj. Apare la fișiere JSON pe o singură linie, loguri cu stive lungi, exporturi CSV cu câmpuri mari sau răspunsuri minificate.

Reparația: s.Buffer(buf, max) setează bufferul inițial și limita maximă, și trebuie apelată înainte de primul Scan().

De ce apare: cauzele frecvente

1Linie mai lungă de 64 KB

Greșit
GO
s := bufio.NewScanner(f)
for s.Scan() {
	proceseaza(s.Text())
}
Corect
GO
s := bufio.NewScanner(f)
s.Buffer(make([]byte, 0, 64*1024), 10*1024*1024)
for s.Scan() {
	proceseaza(s.Text())
}
if err := s.Err(); err != nil {
	return err
}

Limita urcă la 10 MB, iar verificarea lui s.Err() face orice altă problemă vizibilă.

2Eroarea nu e verificată deloc

Greșit
GO
for s.Scan() {
	n++
}
fmt.Println("linii:", n)
Corect
GO
for s.Scan() {
	n++
}
if err := s.Err(); err != nil {
	log.Fatalf("citire oprită după %d linii: %v", n, err)
}

Fără s.Err(), o linie prea lungă arată ca sfârșitul fișierului și pierzi restul datelor fără să afli.

3Linii de lungime nelimitată

Greșit
GO
s := bufio.NewScanner(conn)
Corect
GO
r := bufio.NewReader(conn)
linie, err := r.ReadString('\n')

bufio.Reader.ReadString crește bufferul cât e nevoie; potrivit când nu poți fixa o limită.

Repară tu

Repară eroarea, direct în pagină

Programul numără liniile și caracterele dintr-un log, dar a doua linie are 100.000 de caractere, iar scanner-ul se oprește cu bufio.Scanner: token too long. Mărește bufferul scanner-ului ca programul să afișeze Linii: 3, caractere: 100013.

Codul care dă eroarea
GO
package main

import (
	"bufio"
	"fmt"
	"strings"
)

func main() {
	log := "start\n" + strings.Repeat("x", 100000) + "\nstop1234"
	s := bufio.NewScanner(strings.NewReader(log))
	linii, car := 0, 0
	for s.Scan() {
		linii++
		car += len(s.Text())
	}
	if err := s.Err(); err != nil {
		panic(err)
	}
	fmt.Printf("Linii: %d, caractere: %d\n", linii, car)
}
După reparație, programul afișează
Linii: 3, caractere: 100013
Indiciu

Apelează s.Buffer(...) cu o limită maximă de cel puțin 1 MB înainte de prima citire.

Alte forme ale mesajului

  • panic: bufio.Scanner: token too long
  • bufio.Scanner: SplitFunc returns advance count beyond input

Cum o eviți pe viitor

După fiecare buclă for s.Scan() verifică s.Err(); este singurul loc în care afli că citirea s-a oprit din alt motiv decât sfârșitul datelor. Când datele pot avea linii lungi (JSON minificat, loguri), setează explicit limita cu s.Buffer și alege o valoare maximă rezonabilă pentru memoria disponibilă.

Întrebări frecvente

Care e limita implicită?

bufio.MaxScanTokenSize, adică 65536 de octeți (64 KB) pentru un token, inclusiv caracterele de linie nouă.

De ce nu primesc nicio eroare și lipsesc linii?

Pentru că Scan() întoarce doar false. Eroarea apare numai în s.Err(), pe care trebuie să o verifici explicit după buclă.

Erori înrudite

← Toate erorile Go

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață Go de la zero, cu exerciții la fiecare lecție

Curs Go: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 15 lecții sunt gratuite.