Allegro Tech Talks #39 - Big Data: o podejściu do pracy z danymi

Bądźcie z nami podczas #39 wydarzenia z serii Allegro Tech Talk, podczas których dzielimy się wiedzą, wzajemnie inspirujemy oraz integrujemy podczas rozmów przy dobrej kawie☕, napojach🥤 i pizzy🍕. Ten meetup odbędzie się w Warszawie, w biurze Allegro.

Tym razem podzielimy się z Wami podejściami, które mogą zmienić… Wasze podejście do pracy z danymi. 
Do zobaczenia 30 listopada o 18.00!

Temat wydarzenia: Big data - o podejściu do pracy z danymi

Data: 30.11. (czwartek)
Godz: 18:00 - 20:00
Offline: Warszawa (Fabryka Norblina, ul. Żelazna 51/53 - budynek Plater, wejście Plater 3 od ul. Żelaznej) - do zapisanych osób prześlemy wszystkie wskazówki dojazdu i podpowiedzi logistyczne

AGENDA

18:00 - 18:10 - Rozpoczęcie
18:10 - 18:45 - Marcin Kuthan - Test Driven Development dla Data Engineers
18:45 - 19:20 - Michał Matak - Data Mesh - overview of evolution
19:20 - Zakończenie & networking

Opisy prezentacji:

Marcin Kuthan - Test Driven Development dla Data Engineerów
Dołącz do nas, aby posłuchać świetnej (!) prezentacji na temat świata Test Driven Development (TDD) w Big Data. Odkryj jak zastosować TDD do przyspieszenia Twojej codziennej pracy i do tego, aby praca Data Engineera już nigdy nie polegała głównie na czekaniu na wdrożenia.

Razem z Marcinem prześledzimy proces budowy przetwarzania, które liczy statystyki punktów poboru opłat na autostradzie. Zaczniemy od testów, które nie przechodzą, a następnie będziemy iteracyjnie kodować i testować aż uzyskamy działające przetwarzanie.

Michał Matak - Data Mesh - overview of evolution
Data Mesh został wprowadzony przez Zhamaka Dehghaniego w artykule na blogu Martina Fowlera w 2019 roku. Opisano go, jako kolejny duży krok w świecie architektury danych, podobny do migracji z architektury monolitycznej do architektury mikroserwisowej. Jak ewoluowała ta koncepcja? Czy są jakieś sukcesy na tym polu? W tej prezentacji Michał odpowie na te pytania, podsumowując wysiłki i doświadczenia osób, które próbowały wdrożyć to rozwiązanie na całym świecie. 

W spotkaniu udział wezmą:

Marcin Kuthan - Data / Software Engineer odpowiedzialny za platformę do zbierania i analizowania zachowań klientów Allegro. Dbam o to aby kilka miliardów zdarzeń analitycznych z aplikacji Allegro każdego dnia znalazło się na Kafce, Pubsub i BigQuery nie później niż minutę od ich emisji.

Jestem szczególnie zafascynowany unifikacją przetwarzań batch i realtime, bo wiem że przy odrobinie wysiłku da się połączyć oba światy. Obecnie badam możliwości realizacji tej wizji za pomocą bibliotek Apache Beam i Spotify Scio, gdzie same przetwarzania są uruchamiane na Dataflow w Google Cloud Platform.

Gdy nie pada zbyt mocno możecie mnie spotkać na rowerze w okolicach Warszawy, a gdy aura nie sprzyja to bawię się z synem w modelowanie i drukowanie 3D. 

Michał Matak - obecnie pracuje jako Software Engineer przy produkcie Vento w zespole Mamry. Student studiów magisterskich na Politechnice Warszawskiej na specjalizacji Sztuczna Inteligencja, kierunku Informatyka oraz student prawa. W wolnym czasie angażuje się w inicjatywy, które sprawiają, że czas wolny znika.

Do zobaczenia w Warszawie!