WOJSKOWA AKADEMIA TECHNICZNA

IM. JAROSŁAWA DĄBROWSKIEGO

W WARSZAWIE

HURTOWNIE DANYCH

Sprawozdanie

Temat: Rentowność Klienta

Prowadzący:

mgr inż. Andrzej Rozmus

Wykonawcy:

Błażej Bubrowiecki
Łukasz Giro
Mirosław Klimek
Kamil Krajewski

Grupa I8C1S1

1. Uzasadnienie biznesowe dla realizowanego projektu.

Celem zadania laboratoryjnego było stworzenie hurtowni danych, która przeprowadzi analizę rentowności klienta. Dzięki tej analizie użytkownik hurtowni będzie mógł w prosty, szybki i przyjemny sposób przejrzeć dane na temat poszczególnego klienta. Zestawienia będą wyglądały następująco: ile towarów za jaką cenę, w jakim czasie zakupił i lokalizacje poszczególnych nabywców produktów. Posiadając taką wiedzę będą mogły zostać podjęte odpowiednie działania promocyjne względem odbiorców (np. promocje, rabaty).

Celem wdrożenia hurtowni danych jest umożliwienie analizy rentowności klienta. Brak takiej analizy powoduje straty dla przedsiębiorstwa(np. ulotki, „książeczki reklamowe”). Znając taki profil klienta można dopasować produkty do jego wymagań co pozwoli na zwiększenie zysków.

Korzyści wynikające z realizacji projektu to:
- zwiększenie wglądu w rynek
- stworzenie społeczności wokół usług
- usprawnienie pracy analityków
- ocenę strategii rynkowej
- podniesienie jakości świadczonych usług
- utrzymanie dobrych relacji z poszczególnymi grupami klientów
- zdobycie nowych rynków zbytu
- zwiększenie sprzedaży

1. Koncepcja hurtowni wspomagającej działalność przedsiębiorstwa w odniesieniu do postawionego problemu.

Dzięki hurtowniom danych istnieje możliwość śledzenia najistotniejszych punktów organizacji. Hurtownia jest centralnie zarządzaną i zintegrowaną bazą danych, zawierającą dane organizacji. Użytkownicy mogą mieć bezpośredni dostęp do źródła analiz zawartych w hurtowni danych na której się opiera bazę. Hurtownie można „odświeżyć”(wprowadzić nowe, zmodyfikować lub usunąć dane) w dowolnej chwili bez odłączania systemów operacyjnych lub produkcyjnych firmy. Taka możliwość istnieje dzięki zaimplementowaniu procesu ETL. Zapewniona jest integrację danych z heterogenicznych źródeł. Hurtownia przechowuje pełną historię zmian, które nie są usuwane tylko nadpisywane. Zaprojektowana hurtownia danych jest podstawą systemu wspomagania decyzji. Struktura aplikacji, która generuje dane nie wpływa na strukturę przechowywanych danych. Hurtownia danych jest specjalnie tworzoną dla danej organizacji bazą danych posiadającą historyczne, szczegółowe, stałe i spójne dane, które mogą zostać poddane analizie w zależności od czasu.

1. Opis środowiska wytwórczego, w którym realizowany jest projekt.

1. System operacyjny: Windows XP.

2. Baza danych: Oracle Database 11g Release 2

3. Klient: Oracle Warehouse Builder 11g Release 2

Środowisko projektowe

Podstawowym składnikiem systemu OWB jest w pełni skalowalne repozytorium metadanych. Repozytorium jest to zestaw tabel umieszczonych w bazie danych Oracle, do których dostęp jest możliwy dzięki graficznym aplikacjom klienckim.

Przepływ danych pochodzących z różnych systemów źródłowych zasilających repozytorium OWB zapewniony jest dzięki zastosowaniu tzw. integrantów. Są one komponentami przeznaczonymi do pobierania metadanych i danych z określonych źródeł. W trakcie zachodzących zmiany źródeł, OWB zapewnia aktualizację metadanych zgromadzonych w repozytorium. Do sprawdzenia jakości i kompletności metadanych Oracle zapewnia narzędzie do sprawdzenia danych (valiadatory). Chroni on przed błędami i umożliwia uszczegółowienia błędu. Elementem środowiska umożliwiającego tworzenie raportów, jest Impact Analysis oprogramowanie pozwalające badać wpływ zmian w systemie przed ich propagacją.

Środowisko wykonawcze

Posiadając już logiczną strukturę mechanizmów ETL zostaje ona przeniesiona na fizyczne środowisko bazy danych. Do operowania danymi podczas procesu gromadzenia danych z systemów źródłowych OWB posługuje się instrukcjami języka SQL DDL. Kod umieszczony jest w pliku tekstowym lub w bazie danych. Podczas wykonywania funkcji ETL dane źródłowe są przesyłane do docelowej bazy danych.
Procedury monitorujące zapewniają proces raportowania wczytywanych danych.

1. Model punktowy wraz z opisem.

Rys.1. Model punktowy.

Fakty:

- sprzedaż - zdarzenie, o którym informacja jest przechowywana w hurtowni danych, podlega analizie.

Wymiary – atrybuty opisujące kontekst wystąpienia faktu:

1. Klient

Poziom szczegółowości:

1. Klient

2. Miejscowość

3. Województwo

1. Grupa klientów według zawodów

2. Przedział wiekowy

3. Towar

Poziom szczegółowości:

1. Towar

2. Grupa towarów

1. Czas

Poziom szczegółowości:

1. Miesiąc

2. Kwartał

3. Rok

1. Architektura hurtowni danych wraz z uzasadnieniem wyboru.

Tworząc projekt hurtowni danych postanowiliśmy zbudować ją w oparciu o technologię ROLAP, czyli relacyjnych baz danych. Hurtownie danych zaimplementowaliśmy w postaci tabel wykorzystując do tego strukturę gwiazdy.

Wybraliśmy technologię ROLAP ze względu na możliwość łatwiejszej aktualizacji danych, czy też możliwości wprowadzania zaistniałych poprawek. Istotną cechą przemawiającą za wyborem był także czas ładowania danych do hurtowni, który w przypadku ROLAP jest prawie 2,5 razy krótszy niż w przypadku technologii MOLAP. Ponadto ROLAP charakteryzuje się krótszym czasem odpowiedzi niż MOLAP.

Cechą charakterystyczną struktury gwiazdy jest jedna duża tabela faktów i pewna liczba dużo mniejszych tabel wymiarów. Każda tabela wymiarów powiązana jest z tabelą faktu za pomocą związku klucz główny – klucz obcy. Struktura gwiazdy charakteryzuje się tym, że:

- jest modelem łatwo rozszerzalnym,
- poprawia wydajność hurtowni danych,
- wspiera wielowymiarową analizę,
- poszerza możliwość wyboru narzędzi dostępu do danych

1. Charakterystyka źródła (źródeł) danych.

Rys.2. Model danych zaimportowany z źródłowej bazy danych.

Informacje o zamówieniach, klientach, pracownikach, dostawcach i towarach pozyskujemy ze źródłowej bazy danych. Nasza hurtownia wykorzystuje tabele:

- Klient,

- Zamówienie,

- Towar,

- Pozycja_faktury,

- Pozycja_zamówienia

1. Charakterystyka procesu ETL.

Głównym zadaniem procesu ETL jest integracja danych źródłowych, a tym samym zmiana źródłowych danych w wartościową informację. Proces integracji, jak sama nazwa wskazuje, składa się z trzech etapów: ekstrakcji, transformacji i ładowania danych

1. Ekstrakcja danych pozwala na uzyskanie dostępu do danych, przechowywanych w systemach informatycznych organizacji, w celu ich ładowania do hurtowni danych,

2. Transformacja danych polega na sprowadzeniu danych do wspólnego formatu, obliczeniu wszystkich potrzebnych agregatów, oraz zidentyfikowaniu danych brakujących lub powtarzających się,

3. Ładowanie danych jest procesem, który zapewnia poprawne zasilanie systemu docelowego zintegrowanymi i oczyszczonymi danymi.

Opracowanie projektu procesu ETL:

1. Odwzorowanie modelu logicznego źródeł danych na model logiczny HD.

2. Model struktury tymczasowych datastage.

3. Specyfikacja niestandardowych algorytmów transformacji danych.

4. Specyfikacja procedur obsługi błędnych danych

KLIENT

Rys. 01 – Mapowanie klienta

Mapowanie klienta – z tabeli KLIENT_1 wiersz DATA_UR łączymy z tabelą KLIENT_2 przy wykorzystaniu operatora EXPRESSION. Wyjście operatora łączymy z wierszami ID_GRUPA_WIEKOWA oraz GRUPA_WIEKOWA_ID_GRUPA_WIEKOWA w tabeli KLIENT_2. Zadaniem operatora jest pogrupowanie klientów w grupy wiekowe według ich dat urodzenia. Pozostałe wiersze (IDKLIENT, IMIE, NAZWISKO, DATA_UR) przechodzą bezpośrednio do tabeli KLIENT_2.

Expression OUTPUT1:

CASE

WHEN TO_NUMBER(TO_CHAR(INGRP1.DATA_UR,'YYYY')) >= 1990 THEN 1

WHEN TO_NUMBER(TO_CHAR(INGRP1.DATA_UR,'YYYY')) < 1990 AND TO_NUMBER(TO_CHAR(INGRP1.DATA_UR,'YYYY')) >= 1980 THEN 2

WHEN TO_NUMBER(TO_CHAR(INGRP1.DATA_UR,'YYYY')) < 1980 AND TO_NUMBER(TO_CHAR(INGRP1.DATA_UR,'YYYY')) >= 1970 THEN 3

WHEN TO_NUMBER(TO_CHAR(INGRP1.DATA_UR,'YYYY')) < 1970 AND TO_NUMBER(TO_CHAR(INGRP1.DATA_UR,'YYYY')) >= 1960 THEN 4

WHEN TO_NUMBER(TO_CHAR(INGRP1.DATA_UR,'YYYY')) < 1960 AND TO_NUMBER(TO_CHAR(INGRP1.DATA_UR,'YYYY')) >= 1950 THEN 5

WHEN TO_NUMBER(TO_CHAR(INGRP1.DATA_UR,'YYYY')) <= 1950 THEN 6

END

PRODUKT

Rys. 02 – Mapowanie produktu

Mapowanie produktu – z tabeli POZYCJA_FAKTURY wiersze IDPRODUKT i CENA_SPRZEDAZY, oraz tabeli TOWAR wiersze IDPRODUKT i NAZWA, łączymy za pomocą operatora JOINER oraz EXPRESSION z tabelą PRODUKT_1. Wyjście z operatora JOINER łączymy z operatorem EXPRESSION, oraz z wymiarem PRODUKT tabeli PRODUKT_1. Natomiast wyjście z operatora EXPRESSION łączymy z wymiarem PRZEDZIAŁ_WARTOSCI z wierszami ID_PRZEDZIAL_CENOWY, PRZEDZIAL_CENOWY, oraz wymiarem PRODUKT z wierszem PRZEDZIAL_ID_PRZEDZIAL_CENOWY. Zadaniem operatora EXPIRESSION jest pogrupowanie cen w przedziały cenowe według cen sprzedaży.

EXPRESSION OUTPUT1:

CASE

WHEN INGRP1.CENA_SPRZEDAZY >= 8000 THEN 9

WHEN INGRP1.CENA_SPRZEDAZY < 8000 AND INGRP1.CENA_SPRZEDAZY >= 7000 THEN 8

WHEN INGRP1.CENA_SPRZEDAZY < 7000 AND INGRP1.CENA_SPRZEDAZY >= 6000 THEN 7

WHEN INGRP1.CENA_SPRZEDAZY < 6000 AND INGRP1.CENA_SPRZEDAZY >= 5000 THEN 6

WHEN INGRP1.CENA_SPRZEDAZY < 5000 AND INGRP1.CENA_SPRZEDAZY >= 4000 THEN 5

WHEN INGRP1.CENA_SPRZEDAZY < 4000 AND INGRP1.CENA_SPRZEDAZY >= 3000 THEN 4

WHEN INGRP1.CENA_SPRZEDAZY < 3000 AND INGRP1.CENA_SPRZEDAZY >= 2000 THEN 3

WHEN INGRP1.CENA_SPRZEDAZY < 2000 AND INGRP1.CENA_SPRZEDAZY >= 1000 THEN 2

WHEN INGRP1.CENA_SPRZEDAZY <= 1000 THEN 1

END

RENTOWNOŚĆ

Rys. 03 – Mapowanie rentowności

Mapowanie rentowności – celem tego mapowania jest przesłanie z bazy źródłowej do hurtowni wartości sprzedaży z danego miesiąca dla danego klienta i produktu, czyli przesłanie zagregowanej wartości sprzedaży i kluczy biznesowych produktu, czasu i klienta.

JOINER został użyty w celu zebrania wartości faktur, kluczy biznesowych produktu, czasu i klienta w jednej tabeli. Z tabel ZAMOWIENIE, POZYCJA_ZAMOWIENIA, POZYCJA_FAKTURY łączymy za pomocą JOINERA wybrane rekordy. Wyjście z JOINER jest wejściem do operatora EXPRESSION. Jego zadaniem jest usunięcie informacji o konkretnym dniu, gdyż nie jest nam to potrzebne.

Wyjście z JOINER i operatora EXPRESSION jest wejściem do operatora AGGREGATOR. Agregator został użyty w celu zsumowania wszystkich wartości z danego miesiąca dla danego klienta i produktu.

Wyjście z AGGREGATORA jest wejściem do głównej tabeli SPRZEDAZ. Klucz biznesowy do czasu wstawia się automatycznie i dla tego nie ma przejścia między kluczem biznesowym w agregatorze i tabeli SPRZEDAZ.

EXPRESSION OUTPUT1:

CASE

WHEN INGRP1.CENA_SPRZEDAZY >= 8000 THEN 9

WHEN INGRP1.CENA_SPRZEDAZY < 8000 AND INGRP1.CENA_SPRZEDAZY >= 7000 THEN 8

WHEN INGRP1.CENA_SPRZEDAZY < 7000 AND INGRP1.CENA_SPRZEDAZY >= 6000 THEN 7

WHEN INGRP1.CENA_SPRZEDAZY < 6000 AND INGRP1.CENA_SPRZEDAZY >= 5000 THEN 6

WHEN INGRP1.CENA_SPRZEDAZY < 5000 AND INGRP1.CENA_SPRZEDAZY >= 4000 THEN 5

WHEN INGRP1.CENA_SPRZEDAZY < 4000 AND INGRP1.CENA_SPRZEDAZY >= 3000 THEN 4

WHEN INGRP1.CENA_SPRZEDAZY < 3000 AND INGRP1.CENA_SPRZEDAZY >= 2000 THEN 3

WHEN INGRP1.CENA_SPRZEDAZY < 2000 AND INGRP1.CENA_SPRZEDAZY >= 1000 THEN 2

WHEN INGRP1.CENA_SPRZEDAZY <= 1000 THEN 1

END

1. Podsumowanie i wnioski.

Głównym przeznaczeniem i motywem wytworzenia hurtowni danych jest wspomaganie zarządzania firmą. Osiąga się to poprzez analizę wycinka rzeczywistości pod kątem interesujących nas aspektów (np. liczba zawartych umów w ostatnim roku w podziale na regiony). Dane potrzebne do utworzenia raportu są zintegrowane i pochodzą najczęściej z wielu źródeł (zazwyczaj jest to kilka relacyjnych baz danych).

W naszym przypadku stworzenie hurtowni danych miało pomóc potencjalnemu analitykowi w odpowiedzi na pytanie dotyczące rentowności klienta. Zdobyta przez niego wiedza o kontrahencie pozwoliłaby decydować o zasadach dalszej współpracy z firmą. Jednak aby tego dokonać należałoby udostępnić analitykowi raporty zawierające interesujące go dane. Niestety nasze rozwiązanie przedstawione w poprzednich punktach jest niedokończone i nie pozwala na generowanie raportów. Udało nam się wykonać część procesu ETL.