...
Eroare System Design · Cozi de mesaje și procesare asincronă

SQS: același mesaj e procesat în paralel de doi workeri (visibility timeout prea scurt)

Pe scurt

SQS ascunde un mesaj primit doar pe durata visibility timeout-ului (implicit 30 de secunde). Dacă procesarea durează mai mult și mesajul nu e șters, el redevine vizibil și e preluat de alt worker, deci e procesat de două ori. Setează timeout-ul peste durata maximă a procesării sau prelungește-l din worker.

Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la

Ce înseamnă

În SQS, ReceiveMessage nu scoate mesajul din coadă, ci îl ascunde pe durata VisibilityTimeout. Workerul trebuie să-l șteargă (DeleteMessage) după procesare. Dacă nu o face la timp, SQS presupune că workerul a căzut și face mesajul vizibil din nou.

Când procesarea durează în mod normal mai mult decât timeout-ul (un PDF de generat, un video de transcodat, un apel extern lent), fiecare mesaj e preluat de doi sau mai mulți workeri. Vezi duplicate, costuri duble și ApproximateReceiveCount mare pe mesaje, iar dacă există o DLQ cu maxReceiveCount mic, mesaje bune ajung acolo fără să fi eșuat.

Soluțiile: un visibility timeout ales după durata maximă reală (cu marjă), prelungirea lui din worker pentru joburile lungi (ChangeMessageVisibility, ca un heartbeat) și, ca peste tot, procesare idempotentă.

De ce apare: cauzele frecvente

1Timeout implicit pentru joburi lungi

Greșit
aws sqs create-queue --queue-name rapoarte   # VisibilityTimeout = 30 s
Corect
aws sqs set-queue-attributes --queue-url $Q --attributes VisibilityTimeout=90

Mesajul rămâne ascuns cât durează procesarea, deci nu mai e preluat de alt worker.

2Job de durată variabilă

Greșit
proceseaza(mesaj)   # uneori 20 s, uneori 5 minute
Corect
while lucreaza:
    sqs.change_message_visibility(QueueUrl=q, ReceiptHandle=rh, VisibilityTimeout=60)
    time.sleep(30)

Workerul prelungește periodic ascunderea cât timp încă lucrează.

Repară tu

Repară eroarea, direct în pagină

Generarea unui raport durează până la 45 de secunde, iar coada SQS are visibility timeout-ul implicit de 30 de secunde: unele rapoarte sunt generate de două ori. Calculează în tab-ul Estimări timeout-ul potrivit și răspunde la întrebarea din Quiz.

Indiciu

Mesajul trebuie să rămână ascuns mai mult decât durează procesarea.

Alte forme ale mesajului

  • ApproximateReceiveCount > 1
  • ReceiptHandle is invalid. Reason: The receipt handle has expired.
  • Message processed twice (SQS standard queue)

Cum o eviți pe viitor

  • Alege visibility timeout-ul după durata maximă a procesării, cu marjă.
  • Prelungește-l din worker pentru joburi lungi.
  • Șterge mesajul doar după procesare completă.
  • Fă procesarea idempotentă.

Întrebări frecvente

Ce înseamnă The receipt handle has expired?

Workerul a încercat să șteargă mesajul după ce visibility timeout-ul a expirat și mesajul a fost dat altcuiva. E semnul clar că timeout-ul e prea scurt.

Pot pune visibility timeout de 12 ore?

E maximul permis, dar dacă workerul cade, mesajul așteaptă 12 ore până e reîncercat. Alege o valoare apropiată de durata reală și prelungește-o la nevoie.

Erori înrudite

← Toate erorile System Design

Tudor Andrei Dumitrescu
Cine a explicat eroarea

Tudor Andrei Dumitrescu

Senior Software Developer · fondatorul Academiei Programatorilor

LinkedIn
  1. 2019 Junior JavaCognizant Softvision
  2. 2021 Mid JavaCognizant Softvision
  3. 2022 Team LeaderEndava
  4. 2023 Senior Software DeveloperUniCredit
  5. Acum Senior Software DeveloperHCLTech
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu
Certificat de formator autorizatMinisterul Muncii și Ministerul Educației · 2022
Certificat de absolvire Instructor / Preparator formare, Tudor Andrei Dumitrescu

Certificat de formator autorizat · Ministerul Muncii și Ministerul Educației · 2022

Din 2020 construiește Academia Programatorilor, iar din 2026 și JoburiIT.ro. Fiecare eroare de aici a fost reprodusă în editorul nostru: codul greșit chiar dă mesajul din titlu, iar reparația chiar funcționează.

Învață System Design de la zero, cu exerciții la fiecare lecție

Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.