Doar unul dintre servicii primește evenimentul (coadă partajată în loc de pub/sub)
Ai pus mai multe servicii (email, stoc, facturi) să citească din aceeași coadă, dar o coadă dă fiecare mesaj unui singur consumator, deci fiecare serviciu vede doar o parte din comenzi. Pentru ca toate să primească fiecare eveniment, folosește pub/sub: un topic cu câte o coadă (sau abonare) pentru fiecare serviciu.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
Coada și pub/sub par asemănătoare, dar au semantici diferite. Într-o coadă, consumatorii concurează: fiecare mesaj e livrat unuia singur, ca munca să fie împărțită. În pub/sub, fiecare abonat primește o copie a fiecărui mesaj, ca mai multe servicii independente să reacționeze la același eveniment.
Greșeala apare când un eveniment de business (ComandaPlasata) trebuie să ajungă la mai multe servicii, dar toate ascultă aceeași coadă. Rezultatul e aleator: o treime din comenzi primesc email, o treime scad stocul, o treime sunt facturate. În RabbitMQ, asta înseamnă mai multe servicii pe aceeași coadă în loc de un exchange fanout/topic cu cozi separate; în Kafka, servicii diferite cu același group.id; în AWS, mai multe servicii pe o coadă SQS în loc de SNS + câte o coadă SQS.
Regula: în interiorul unui serviciu, instanțele împart o coadă (sau un consumer group); între servicii diferite, fiecare are abonarea lui.
De ce apare: cauzele frecvente
1Servicii diferite pe aceeași coadă
# email, stoc, facturi: @RabbitListener(queues = "comenzi")# exchange fanout "comenzi.evenimente"
# cozi: comenzi.email, comenzi.stoc, comenzi.facturi (fiecare legată de exchange)
# fiecare serviciu ascultă coada luiExchange-ul copiază fiecare eveniment în toate cozile legate, deci fiecare serviciu îl primește.
2Kafka: același group.id pentru servicii diferite
group.id=consumatori-comenzi # și la email, și la stocgroup.id=email-comenzi # serviciul de email
group.id=stoc-comenzi # serviciul de stocGrupuri diferite citesc fiecare toate mesajele topicului, independent.
Repară eroarea, direct în pagină
Serviciile de email, stoc și facturi citesc din aceeași coadă de comenzi, așa că fiecare primește doar o treime din comenzi. Fă ca fiecare serviciu să primească fiecare eveniment, cu toate componentele sub 80%.
Indiciu
Uită-te la tipul cozii.
Reparația
1. Atinge Coadă de mesaje. 2. Tip = Pub/Sub (fiecare abonat primește tot).
Rezultat: fiecare serviciu primește toate cele 300 de evenimente pe secundă (~75% încărcare).
De ce merge
În modul coadă, cele trei servicii își împart mesajele. În modul pub/sub, fiecare abonat primește toate cele 300 de evenimente pe secundă; workerii au destule instanțe ca să le proceseze sub 80%.
Alte forme ale mesajului
Only one consumer receives the message (competing consumers)Kafka: services sharing the same consumer group
Cum o eviți pe viitor
- Distinge munca împărțită (coadă) de evenimentele difuzate (pub/sub).
- Dă fiecărui serviciu propria coadă sau propriul consumer group.
- Documentează cine se abonează la fiecare eveniment.
- Testează că un eveniment ajunge la toate serviciile care au nevoie de el.
Întrebări frecvente
Pot avea și pub/sub, și coadă?
Da, e tiparul obișnuit: un topic pub/sub difuzează evenimentul, iar fiecare serviciu are o coadă proprie, consumată de mai multe instanțe ale lui.
Pub/sub nu dublează mesajele?
Da, fiecare abonat primește o copie: exact ce vrei când mai multe servicii trebuie să reacționeze. Costul e stocarea copiilor.
Erori înrudite
Mesajele stau în coadă și nu le procesează nimeni (niciun consumator conectat) Producătorul publică mesaje, dar niciun consumator nu e abonat la coadă (worker oprit, nume de coadă greșit, binding lipsă), deci mesajele se adună sau, într-un exchange fără coadă, se pierd. Pornește workerii și verifică că ascultă exact coada (sau topicul) în care publici. Mesajele ajung în altă ordine decât au fost trimise (comanda apare plătită după ce a fost anulată) Cozile cu mai mulți consumatori, reîncercările și partițiile multiple nu păstrează ordinea globală, deci evenimentele aceleiași entități pot fi procesate invers. Păstrează ordinea acolo unde contează (cheie de partiție = id-ul entității, FIFO cu grup de mesaje) și adaugă versiuni, ca un eveniment vechi să fie ignorat. Învață System Design de la zero, cu exerciții la fiecare lecție
Curs System Design: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
