Reliable Event Delivery with Apache Kafka® Jacek Grobelny, Technology Lead at Consdata Meetup link: https://www.meetup.com/Poznan-Kafka/events/282272378/ Presentation is in Polish

1. Reliable event delivery
in Apache Kafka®
Jacek Grobelny, Tech Lead @ Consdata

2. Agenda
Consdata
Santander Poczta
Pierwsza implementacja
Problemy
Refactoring do Event Sourcingu
Obsługa błędów
Live Demo
Podsumowanie

3. <CONSDATA >

5. Santander Poczta
retail/corporate
desktop/mobile
~7 mln kont
~700 mln wiadomości
~3TB storage

6. Problemy pierwszej
implementacji

7. Problemy pierwszej
implementacji
synchroniczna komunikacja

8. Problemy pierwszej
implementacji
synchroniczna komunikacja
masowa wysyłka

9. Problemy pierwszej
implementacji
synchroniczna komunikacja
masowa wysyłka
rosnący wolumen

10. Event Sourcing to
the Rescue!

11. Zmiana
architektury

12. Zmiana
architektury
Dziedzina i eventy

13. Zmiana
architektury
Dziedzina i eventy
State store

14. Zmiana
architektury
Dziedzina i eventy
State store
Event store

15. Apache Kafka

16. Apache Kafka
Referencje (LinkedIn, Netflix, Uber)

17. Apache Kafka
Referencje (LinkedIn, Netflix, Uber)
Wydajność

18. Apache Kafka
Referencje (LinkedIn, Netflix, Uber)
Wydajność
Wolumen danych

19. Apache Kafka
Referencje (LinkedIn, Netflix, Uber)
Wydajność
Wolumen danych
Dumb Broker/Smart Consumer

20. Obsługa błędów

21. Obsługa błędów

22. Obsługa błędów

25. Obsługa błędów 2.0

26. Obsługa błędów 2.0

27. Obsługa błędów 2.0

28. Migracja

29. Migracja
Wygenerowanie eventów na podstawie bazy

30. Migracja
Wygenerowanie eventów na podstawie bazy
Przepięcie się z trybu synchronicznego na
asynchroniczny

31. Migracja
Wygenerowanie eventów na podstawie bazy
Przepięcie się z trybu synchronicznego na
asynchroniczny
Nowe state story!

32. LIVE DEMO
https://github.com/Consdata/kouncil

33. Podsumowanie

34. Podsumowanie
Dumb Broker/Smart Consumer vs Obsługa
błędów

35. Podsumowanie
Dumb Broker/Smart Consumer vs Obsługa
błędów
Alerting i monitoring

36. Podsumowanie
Dumb Broker/Smart Consumer vs Obsługa
błędów
Alerting i monitoring
Dobrać odpowiednie narzędzia developerskie

37. Dziękuję
https://ynleborg.github.io
https://blog.consdata.tech/
@ynleborg