Pięć wpisów w systemach
Jedna płatność została wysłana dwukrotnie. Jeden klient otrzymał zwrot.
Przejdziesz drogę jednego wyniku biznesowego: od pięciu nieuporządkowanych zdarzeń do liczby, której można zaufać. Poznasz cały data pipeline, ETL i ELT — bez zakładania, że już znasz te pojęcia.
Najpierw zrozum problem. Technologie pojawią się później.
„Ile pieniędzy faktycznie wpłynęło ze sprzedaży, po uwzględnieniu zwrotów — bez podwójnego liczenia płatności?”Czego potrzebuje biznes?
Jedna płatność została wysłana dwukrotnie. Jeden klient otrzymał zwrot.
Suma surowych wpisów. Ale ta liczba jest błędna.
Powtórzona płatność +120 zł nie może zwiększać wyniku. Zwrot −80 zł musi go zmniejszyć. Różnica to 120 zł.
Jedna firma korzysta z wielu systemów. Każdy zna tylko fragment historii.
Source system = miejsce, gdzie dane powstają. Ingestion = sposób ich dostarczania dalej. Nie wszystkie źródła muszą wysyłać dane tak samo.
Przejdź po etapach. Obserwuj, jak zmieniają się te same rekordy.
Nie próbuj zapamiętać liter. Zobacz, gdzie wykonywana jest transformacja.
Teraz dopiero wprowadzamy Bronze, Silver i Gold — bo już wiesz, po co te warstwy istnieją.
Databricks dostarcza narzędzia do budowania i uruchamiania przetwarzania danych. Delta Lake pomaga przechowywać tabele ze spójnością transakcyjną; Spark wykonuje obliczenia. Możesz zrealizować ten sam cel także innymi technologiami.
Dashboard, analityk, model predykcyjny i aplikacja korzystają z przygotowanych danych. Pytanie zawsze brzmi: czy odbiorca dostaje odpowiednie dane, na czas i w uzgodnionej definicji?
Jesteś odpowiedzialny za delivery. Twój zespół mówi „gotowe”. Sprawdź, co naprawdę oznacza gotowość.
Odpowiedz na pytania, zanim zobaczysz wyjaśnienie. Na końcu spróbuj wytłumaczyć temat własnymi słowami.
„Skąd biorą się dane, co z nimi robimy i skąd wiemy, że raport jest wiarygodny?”
Sprawdź, czy Twoje wyjaśnienie obejmuje:
Nie oceniamy automatycznie samego wystąpienia słów. Liczy się prawidłowe rozumowanie.