SQS: același mesaj e procesat în paralel de doi workeri (visibility timeout prea scurt)
SQS ascunde un mesaj primit doar pe durata visibility timeout-ului (implicit 30 de secunde). Dacă procesarea durează mai mult și mesajul nu e șters, el redevine vizibil și e preluat de alt worker, deci e procesat de două ori. Setează timeout-ul peste durata maximă a procesării sau prelungește-l din worker.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
În SQS, ReceiveMessage nu scoate mesajul din coadă, ci îl ascunde pe durata VisibilityTimeout. Workerul trebuie să-l șteargă (DeleteMessage) după procesare. Dacă nu o face la timp, SQS presupune că workerul a căzut și face mesajul vizibil din nou.
Când procesarea durează în mod normal mai mult decât timeout-ul (un PDF de generat, un video de transcodat, un apel extern lent), fiecare mesaj e preluat de doi sau mai mulți workeri. Vezi duplicate, costuri duble și ApproximateReceiveCount mare pe mesaje, iar dacă există o DLQ cu maxReceiveCount mic, mesaje bune ajung acolo fără să fi eșuat.
Soluțiile: un visibility timeout ales după durata maximă reală (cu marjă), prelungirea lui din worker pentru joburile lungi (ChangeMessageVisibility, ca un heartbeat) și, ca peste tot, procesare idempotentă.
De ce apare: cauzele frecvente
1Timeout implicit pentru joburi lungi
aws sqs create-queue --queue-name rapoarte # VisibilityTimeout = 30 saws sqs set-queue-attributes --queue-url $Q --attributes VisibilityTimeout=90Mesajul rămâne ascuns cât durează procesarea, deci nu mai e preluat de alt worker.
2Job de durată variabilă
proceseaza(mesaj) # uneori 20 s, uneori 5 minutewhile lucreaza:
sqs.change_message_visibility(QueueUrl=q, ReceiptHandle=rh, VisibilityTimeout=60)
time.sleep(30)Workerul prelungește periodic ascunderea cât timp încă lucrează.
Repară eroarea, direct în pagină
Generarea unui raport durează până la 45 de secunde, iar coada SQS are visibility timeout-ul implicit de 30 de secunde: unele rapoarte sunt generate de două ori. Calculează în tab-ul Estimări timeout-ul potrivit și răspunde la întrebarea din Quiz.
Indiciu
Mesajul trebuie să rămână ascuns mai mult decât durează procesarea.
Reparația
- Estimare: 45 × 2 = 90 de secunde.
- Quiz: Adevărat.
De ce merge
La 30 de secunde, mesajul redevine vizibil înainte ca procesarea să se termine. Cu 90 de secunde (de două ori durata maximă), workerul termină și șterge mesajul înainte ca altcineva să-l poată prelua.
Alte forme ale mesajului
ApproximateReceiveCount > 1ReceiptHandle is invalid. Reason: The receipt handle has expired.Message processed twice (SQS standard queue)
Cum o eviți pe viitor
- Alege visibility timeout-ul după durata maximă a procesării, cu marjă.
- Prelungește-l din worker pentru joburi lungi.
- Șterge mesajul doar după procesare completă.
- Fă procesarea idempotentă.
Întrebări frecvente
Ce înseamnă The receipt handle has expired?
Workerul a încercat să șteargă mesajul după ce visibility timeout-ul a expirat și mesajul a fost dat altcuiva. E semnul clar că timeout-ul e prea scurt.
Pot pune visibility timeout de 12 ore?
E maximul permis, dar dacă workerul cade, mesajul așteaptă 12 ore până e reîncercat. Alege o valoare apropiată de durata reală și prelungește-o la nevoie.
Erori înrudite
Același mesaj procesat de două ori (clientul primește două SMS-uri / e taxat de două ori) Cozile garantează de obicei livrarea „cel puțin o dată” (at-least-once): după un timeout, o eroare sau o reîncercare, același mesaj poate ajunge de două ori la consumator. Fă procesarea idempotentă: salvează id-ul mesajului procesat și ignoră duplicatele, sau folosește chei de idempotență la apelurile externe. Poison message: același mesaj eșuează la nesfârșit și blochează coada Un mesaj care nu poate fi procesat niciodată (date invalide, un bug) e reîncercat la infinit, consumă workeri și, în cozile ordonate, blochează mesajele din spatele lui. Limitează reîncercările și mută mesajul într-o dead letter queue (DLQ) după N eșecuri, apoi analizează-l separat. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
