THE BIG PICTURE / ARCHITECTURE EXPLAINED

From business event
to business decision.

Jedna płatność. Sześć etapów. Jeden cel: zmienić surowe zdarzenie w wiarygodny sygnał biznesowy. Zobacz co się zmienia i dlaczego.

DATA FLOW · DATABRICKS
INTERACTIVE POSTER / V2
ZACZNIJ TUTAJ / NIE POTRZEBUJESZ WIEDZY TECHNICZNEJ

Po co w ogóle firmie data pipeline?

POZIOM 0 · 3 MINUTY

Wyobraź sobie sklep internetowy. Klienci składają zamówienia, anulują je i zwracają produkty. Szef pyta: „Ile naprawdę zarobiliśmy?” Dane istnieją, ale nie są jeszcze gotową odpowiedzią.

Data pipeline to uporządkowana droga danych: zbieramy je z systemów, sprawdzamy, przygotowujemy i przekazujemy do raportu albo decyzji. To nie jeden program, tylko cały proces.

01 · BRONZE / CO OTRZYMALIŚMYSurowe dane

Przechowujemy oryginalne wpisy. Na tym etapie mogą się powtarzać i zawierać zdarzenia, które wymagają wyjaśnienia.

Zamówienie A: 100 zł Zamówienie A: 100 zł ← powtórka Zamówienie B: 50 zł ← zwrócone
02 · SILVER / CO JEST POPRAWNESprawdzone dane

Wykrywamy powtórki, uwzględniamy zwroty i nadajemy danym spójną strukturę.

Zamówienie A: 100 zł Duplikat A: usunięty Zamówienie B: zwrot 50 zł
03 · GOLD / CO FIRMA MUSI WIEDZIEĆWynik biznesowy

Przygotowujemy informację, którą można wykorzystać do odpowiedzi na konkretne pytanie.

Sprzedaż netto (przykład): 100 zł Gotowe do raportu ✓
Zapamiętaj: Bronze = zachowaj, Silver = uporządkuj, Gold = wykorzystaj. To nazwy warstw danych, nie trzech osobnych produktów.
Gdzie w tym wszystkim jest Databricks, Kafka i Delta Lake?

Databricks to platforma do przetwarzania i analizy danych. Można w niej budować taki pipeline. Kafka pomaga przenosić zdarzenia między systemami. Delta Lake to technologia przechowywania tabel z mechanizmami zapewniającymi spójność danych. Nie musisz znać tych narzędzi, żeby najpierw zrozumieć proces.

Ingest oznacza pobieranie danych do procesu. Source to system, w którym dane powstały. Decision to działanie lub wniosek oparty na wyniku.

TERAZ / ZASTOSUJ TĘ SAMĄ LOGIKĘ

Poniżej widzisz ten sam pomysł na innym przykładzie: płatność, którą system ma ocenić pod kątem ryzyka oszustwa. Przejdź od lewej do prawej — nazwy Bronze, Silver i Gold mają już swoje znaczenie.

01
BUSINESS / WHY

Wykryj potencjalnie nieuczciwą płatność.

Potrzebujesz świeżych, poprawnych danych — samo przeniesienie zdarzeń nie wystarczy.

CEL: Alert operacyjny
bez fałszywych duplikatów
Od zdarzenia biznesowego do decyzjiSześć klikalnych etapów: Source, Ingest, Bronze, Silver, Gold i Decision. Pod diagramem znajdują się aktualizowane objaśnienia i przykład danych. A customer pays 249 PLNEVENT ID: TX-48291Business question: is it suspicious? DATA MOVEMENT · CAPTURE → CLEAN → SERVE 01 · BUSINESS EVENTSOURCEPayment systemZdarzeniepowstaje 02 · TRANSPORTINGESTKafka / streamingZdarzeniedociera 03 · KEEP THE TRUTHBRONZERaw Delta dataHistoriazachowana 04 · MAKE IT TRUSTEDSILVERClean + deduplicateBłędy i duplikatyodfiltrowane 05 · BUSINESS-READYGOLDUseful data productSygnał gotowydo użycia 06 · BUSINESS ACTIONDECISIONFraud rule / analystAlert lubakceptacja TRUST / CONTROLS ACROSS THE ENTIRE PIPELINE ◈ Data quality⊙ Monitoring / lag▦ Security & privacy↗ Lineage / audit
ETAP 1 Z 6

Wybierz dowolny element diagramu

01 / WHAT HAPPENS

Źródło · powstaje płatność

02 / WATCH THE DATA CHANGE

Ten sam rekord, nowy stan

03 / WHY IT MATTERS

Co jeśli ten etap zawiedzie?

Model koncepcyjny · uproszczony przykład edukacyjny · nie jest projektem produkcyjnym fraud detectionMedallion architecture · dokumentacja ↗