5439979392

Kolejnym krokiem procesu transformacji jest integracja, która obejmuje integrację formatów oraz integrację semantyczną. Zintegrowanie danych jest konieczne przede wszystkim dlatego, że dane pochodzą z wielu źródeł. Pamiętajmy, że dane wstawiane do jednej tabeli, np. dane wstawiane do wymiaru Klient, mogą pochodzić z kilku zupełnie inaczej zaprojektowanych źródeł. Wyobraźmy sobie, że dane do wymiaru Klient będziemy pobierali z trzech różnych źródeł: z dwóch baz transakcyjnych (jednej z oddziału polskiego, drugiej z oddziału zagranicznego) oraz z arkusza kalkulacyjnego (w którym pierwotnie zapisywano dane i ich nie przeniesiono). Te trzy źródła mogą się różnić formatem dat, formatem kropki dziesiętnej, a nawet kodowaniem (ASCII / EBCDIC, standardy polskich znaków). Ponadto formaty tych samych lub podobnych atrybutów, które będziemy chcieli wstawić do tego samego pola wymiaru Klient, wcale nie muszą się pokrywać, np.

•    w jednym źródle płeć może być trzymana jako K M, w drugim kobieta mężczyzna, a trzecim np. M E (oczywiście możliwości mamy tu więcej, płeć może być również zapisywana jako male/female, 0/1, 0/-1 albo zakodowana w dacie urodzenia, np. jeśli kobieta, to do miesiąca dodajemy 50),

•    w jednym źródle imię i nazwisko klienta będzie trzymane w oddzielnych kolumnach, w drugim w jednym polu tekstowym, a w trzecim w jednej kolumnie, ale z dodanym pośrodku inicjałem drugiego imienia,

•    analogiczna sytuacja może dotyczyć adresu klienta, przy czym tu dodatkową trudność może stanowić interpretacja danych geograficznych z różnych państw,

•    w jednym źródle data urodzema klienta może być w formacie „ddmmyy", w drugim ,,yyyymmdd \ a w trzecim np. data może być przechowywana w postaci znacznika czasowego lub w formacie liczby całkowitej jako liczba sekund od jakiejś ustalonej daty.

Wyraźnie widać, że w tej sytuacji integracja formatów jest konieczna. Ten sam problem będzie dotyczył wszystkich tabel w hurtowni.

Oprócz integracji formatów komeczna jest jeszcze integracja semantyczna, czyli ustalenie wspólnego języka przekładającego terminy biznesowe modelu pojęciowego na obiekty- występujące po stronie źródeł. Integracja semantyczna to przede wszystkim:

•    wspomniane wcześniej zdefiniowanie kluczowych pojęć (kto to jest „klienf^:, kiedy następuje „fakt sprzedaży '),

•    selekcja informacji (pomimęcie danych nieistotnych z punktu widzenia założonego modelu pojęciowego hurtowni),

•    usuwanie redundancji w danych źródłowych (nawet w-jednym źródle może pojawiać się wiele razy mformacja dotycząca tego samego obiektu, przy wielu źródłach jest to bardzo prawdopodobne),

•    ustalenie reguł poprawności i kontroli jakości danych trafiających do hurtowni (np. określenie minimalnego współczynnika kompletności danych).

Ostatnim krokiem procesu transformacji jest odwzorowywanie (mapowanie), czyli przekształcanie danych do formatu docelowego. Zadaniem tego procesu jest ułatwienie wprowadzania zmian np. przy zmianie jednego systemu źródłowego na inny.