Czym się różni hurtownia danych od bazy danych
Małgorzata Bartoszewska
[e-mail]
Artur Król
[e-mail]
Infovide Sp. z o.o., Warszawa
Baza danych a Hurtownia Danych
Kiedyś ktoś powiedział, że Hurtownia Danych to "taka duża baza danych, mądrze nazwana". I właściwie miał rację, bo z
technologicznego punktu widzenia właśnie tak jest. Ale większość pojęć ma przecież wiele znaczeń.
Pod pojęciem "baza danych" rozumiany jest często System Zarządzania Przedsiębiorstwem (składający się z jednego lub kilku
różnych systemów) - czyli system informatyczny służący do automatyzacji codziennej pracy. Są to systemy wspomagające np.
obsługę klienta, dystrybucję towaru, zarządzanie zapasami, systemy finansowo - księgowe etc. W chwili obecnej systemy takie
stanowią podporę większości organizacji. Cechą takich systemów jest możliwość bardzo wydajnego przetwarzania dużej liczby
operacji jednocześnie, przy czym każda operacja wymaga małej ilości danych. Systemy te ukierunkowane są na wspieranie
procesów gospodarczych zachodzących w danej firmie.
Jednak samo przechowywanie danych, chociaż niezbędne w codziennej pracy, nie stanowi wartości samej w sobie. Jednym z
czynników pozwalających osiągnąć znaczącą przewagę konkurencyjną są informacje, które można uzyskać dzięki danym
przechowywanym w systemach eksploatowanych w całej organizacji i wykorzystanie tych informacji do podejmowania decyzji
taktycznych i strategicznych. Oczywiście można powiedzieć, że informacje takie są w raportach generowanych z
wykorzystywanych wspomnianych wcześniej systemów.
Niestety, wyniki badań przeprowadzonych przez IBM wskazują, że 40% raportów w systemach informatycznych nie jest nigdy
wykorzystywane, a ponad 30% jest wykorzystywane niezgodnie ze swoim pierwotnym przeznaczeniem. Oznacza to, że jedynie
mniej niż 30% raportów stanowi prawdziwą wartość.
Widać więc, że potrzeba czegoś więcej - możliwości analizowania danych gromadzonych w całym przedsiębiorstwie.
Systemy Zarządzania Przedsiębiorstwem nie nadają się do prowadzenia tego typu analiz, ponieważ są zazwyczaj
zaprojektowane dla wydajnego przetwarzania małych porcji danych (rejestracja zamówienia, wystawienie faktury,
przygotowanie cennika itp.), nie zaś do przekrojowych analiz dużych porcji danych. Co więcej, zazwyczaj w Systemach
© Copyright © 2001, Infovide Sp. z o.o., ul. Kolejowa 5/7, 01-217 Warszawa, tel. [phone], faks (22) 5347402, www.infovide.pl, e-mail: [e-mail]
1
Zarządzania Przedsiębiorstwem utrzymywane są tylko aktualne informacje o większości obiektów (np. o kliencie) bez
przechowywania historii zmian w jego danych. Może to prowadzić do wielu nieporozumień (np. w sytuacji kiedy klient zmieni
nazwę, adres lub kanał dystrybucji). Sprawę pogarsza jeszcze fakt, że często mamy do czynienia nie z jednym systemem, tylko
z wieloma systemami wykorzystywanymi przez różne fragmenty organizacji, co może prowadzić do nieco odmiennego
rozumienia pewnych pojęć przez różne grupy ludzi (np. klient może być rozumiany nieco inaczej przez dział sprzedaży i dział
marketingu, zaś produkt może być czymś trochę innym w dziale produkcji, a trochę czymś innym w dziale finansów).
Często również pojawia się konieczność porównywania bieżących wskaz
ników z wartościami z lat ubiegłych. Systemy
Zarządzania przedsiębiorstwem nie muszą nam na bieżąco udostępniać historycznych danych (zazwyczaj składuje się je na
oddzielnych nośnikach). Poza tym, wcale nie musi być prawdą, że kiedyś organizacja używała tego samego systemu, którego
używa dziś. Może się więc zdarzyć, że dane historyczne nie są możliwe do uzyskania w "obecnym" systemie w żaden sposób.
Krótko mówiąc - dane wykorzystywane w procesie podejmowania decyzji to nie tylko bieżące dane operacyjne, to również dane
historyczne, przy czym jedne i drugie nierzadko pochodzą z różnych z
ródeł.
Systemem zaprojektowanym do prowadzenia zaawansowanych analiz jest Hurtownia Danych.
Hurtownia danych gromadzi dane ze wszystkich systemów działających w obrębie organizacji, stanowi więc z
ródło analiz w
kontekście całej działalności. Dane zorganizowane są pod kątem dostarczania w jak najkrótszym czasie rzetelnych informacji o
aktualnym stanie firmy, a dzięki temu, że są uspójnione w ramach całej organizacji Hurtownia danych stanowi "jedno z
ródło
prawdy".
Hurtownia danych nie jest więc systemem, który można kupić "z półki". Skoro ma wspomagać realizację strategicznych celów
organizacji - musi być zaprojektowana ze szczególnym położeniem nacisku na strategię firmy.
Głównym beneficjentem takiego systemu jest kadra zarządzająca oraz kierownictwo średniego szczebla, analitycy. To przede
wszystkim ich potrzeby powinna zaspokajać hurtownia danych. Tu znajduje się czynnik odróżniający hurtownie danych od
innych przedsięwzięć: zasadniczym motywatorem projektu hurtowni danych jest możliwość śledzenia najistotniejszych z punktu
widzenia organizacji wskaz
ników (rentowność produktów czy klientów, ryzyko kredytowe, poziom zadowolenia klienta, rotacja
klientów, jakość procesu produkcyjnego itd.), nie zaś objęcie zakresem systemu zadań wynikających z realizacji w
przedsiębiorstwie pewnych konkretnych procesów gospodarczych.
© Copyright © 2001, Infovide Sp. z o.o., ul. Kolejowa 5/7, 01-217 Warszawa, tel. [phone], faks (22) 5347402, www.infovide.pl, e-mail: [e-mail]
2
Z drugiej strony, najistotniejszym atrybutem jakości hurtowni danych jest wiarygodność pozyskiwanych dzięki niej informacji.
Zatem jakość danych oraz sposób ich umieszczenia w hurtowni danych jest jednym z najpoważniejszych wyzwań, a zarazem
obszarem najczęściej i najmocniej niedoszacowanym.
Hurtownia danych to również zmiana sposobu myślenia o dostępie do danych w obrębie firmy - to odstąpienie od "guru od
danych", "zamówień na raporty" na rzecz samodzielnego dokonywania analiz, zgodnie z potrzebą chwili.
Ryzyko projektu budowy Hurtowni Danych
Hurtownia danych obejmuje całą działalność firmy - jest więc systemem bardzo złożonym. Praktyka wskazuje, że wraz ze
złożonością systemu rośnie ryzyko niepowodzenia przedsięwzięcia.
Jak można zatem sobie pomóc, aby minimalizować ryzyko niepowodzenia projektu, czyli jakie podjąć działania aby osiągnąć
zakładane korzyści w zakładanym czasie? Pomysł jest oczywiście nie nowy i nie odbiega w zasadzie od najlepszych praktyk i
rozwiązań znanych w dzisiejszej inżynierii oprogramowania. Są to przede wszystkim: ścisła współpraca z użytkownikami,
sensowne planowanie przedsięwzięcia zarówno od strony merytorycznej, jak i technicznej, oraz iteracyjny cykl wdrażania
systemu.
Najważniejszym czynnikiem minimalizującym ryzyko każdego projektu informatycznego jest ścisła współpraca z użytkownikami.
W przypadku hurtowni danych stanowi osobne wyzwanie i to przede wszystkim dla użytkownika. Dlaczego? To proste. Jak
zostało powiedziane wcześniej, główni beneficjanci hurtowni danych to kadra zarządzająca, czyli ludzie, których czas jest
wyjątkowo cenny i stanowiący "towar" równie wyjątkowo deficytowy. Niemniej jednak właściwe zaplanowanie współpracy na
poziomie kierownictwa strategicznego organizacji jest jednym z najistotniejszych czynników stanowiących o powodzeniu całego
przedsięwzięcia. Jest to bowiem grupa ludzi, która jako jedyna jest w stanie zapewnić strategiczny kontekst analiz wymaganych
dla hurtowni danych. Dzięki współpracy z kadrą menedżerską możliwa jest identyfikacja zasadniczych strategii działania
organizacji oraz potrzeb informacyjnych z nich wynikających. Niekiedy część cyklu planowania strategicznego, opierającego się
bardzo często o różne odmiany analizy SWOT - silnych i słabych stron wewnątrz firmy oraz możliwości i zagrożeń w
zewnętrznych uwarunkowaniach, jest elementem samego projektu hurtowni danych. Z punktu widzenia procesu inwestycyjnego
natomiast, to jest właśnie element, który pozwoli właściwie ocenić spodziewane korzyści.
Podjęciu decyzji o budowie hurtowni danych musi więc towarzyszyć przekonanie o konieczności poświęcenia własnego czasu
na rozmowy z twórcami systemu.
Drugim sposobem ograniczenia ryzyka jest precyzyjne zdefiniowanie architektury hurtowni danych na samym poczÄ…tku prac.
Podobnie jak projekt architektoniczny dla budowli, architektura hurtowni danych jest ogólnym planem wielkiej i złożonej struktury
systemu. Chodzi tu o właściwe odniesienie całego zakresu funkcjonalnego do strategii działania, oraz o zaplanowanie
architektury technicznej dla całego systemu.
Projektowanie architektury to duży nakład żmudnej pracy, w wyniku której powstaje jedynie dokumentacja, ale etap ten jest
bardzo ważny z tego względu, że jakość planu realizacji przedsięwzięcia jest wprost proporcjonalna do wiedzy na jego temat.
© Copyright © 2001, Infovide Sp. z o.o., ul. Kolejowa 5/7, 01-217 Warszawa, tel. [phone], faks (22) 5347402, www.infovide.pl, e-mail: [e-mail]
3
Właściwe zaplanowanie architektury pozwala też osiągnąć znaczną poprawę wydajności w realizacji kolejnych etapów hurtowni
danych, ponieważ stanowi fundament, na którym budowane są kolejne fragmenty systemu, uwalniając projektantów i
programistów od konieczności zastanawiania się nad poszczególnymi komponentami technologicznymi, które powinny zostać
zastosowane.
Z punktu widzenia procesu inwestycyjnego architektura pozwala utrzymać w ryzach koszty przedsięwzięcia.
Hurtownia danych jest systemem złożonym, obejmuje szeroki zakres potrzeb informacyjnych. Dodatkowym kłopotem jest fakt,
że z zakresem nie da się "walczyć" ani go "unikać. Jest to pewien fakt, z którym mamy do czynienia jak z prawami fizyki: można
powiedzieć, że grawitacja to jedynie dziwaczny wymysł sir Newtona, ale od tego jabłka nie przestaną spadać z drzew...
Podejście przyrostowe pozwala skutecznie zarządzać tym elementem ryzyka. Polega ono na podzieleniu systemu na kilka
mniejszych "kawałków" i budowie ich po kolei.
Dzięki temu już po kilku miesiącach użytkownicy mogą mieć korzyści z budowanego systemu. Nie bez znaczenia jest również
fakt, że ludziom łatwiej jest precyzować swoje wymagania w odniesieniu do czegoś, co już widzieli i używali (jak mawiał
Zdzisław Maklakiewicz w swej niezapomnianej kreacji inż. Mamonia z filmu Rejs: "...ja jestem umysł ścisły, mnie się podobają
melodie, które już raz słyszałem. To poprzez reminiscencje...").
Po wdrożeniu pierwszego przyrostu funkcjonalności hurtowni danych użytkownicy chętniej będą definiować swoje potrzeby,
widząc korzyści, jakie daje wprowadzany system.
Przyrosty funkcjonalności systemu powinny być tak zdefiniowane, aby dało się każdy z nich zaprojektować, zaimplementować i
wdrożyć w czasie nie przekraczającym 3 miesięcy.
Czynniki sukcesu
Kiedy warto myśleć o budowie hurtowni danych? Warunkiem koniecznym jest istnienie systemu (lub systemów) stanowiących
z
ródło danych dla hurtowni danych, czyli wspomnianych Systemów Zarządzania Przedsiębiorstwem.
Nie jest to jednak wszystko. Earl Hadden, światowy ekspert w dziedzinie hurtowni danych określił kilka czynników
pozwalających ocenić poziom przygotowania organizacji do uruchomienia projektu budowy hurtowni danych. Wśród
najważniejszych należy wymienić cztery:
1. Dostępność z
ródeł danych.
© Copyright © 2001, Infovide Sp. z o.o., ul. Kolejowa 5/7, 01-217 Warszawa, tel. [phone], faks (22) 5347402, www.infovide.pl, e-mail: [e-mail]
4
Ideałem byłoby, gdyby w organizacji istniało jedno, udokumentowane, wewnętrzne, zautomatyzowane z
ródło danych
odpowiadajÄ…cych potrzebom informacyjnym organizacji. Niestety zazwyczaj mamy do czynienia z wieloma
nieudokumentowanymi, zewnętrznymi, niezautomatyzowanymi z
ródłami. Nie uniemożliwia to jeszcze budowy hurtowni danych -
jedynie podnosi ryzyko takiego przedsięwzięcia i zapewne jeśli tylko mamy wybór warto w pierwszej kolejności zająć się
budową rozwiązań automatyzujących codzienną pracę, a dopiero póz
niej myśleć o hurtowni danych.
2. Świadomość odbiorców systemu co do informacji, które chcą z niego otrzymywać i jasne powiązanie tych informacji z
potencjalnymi korzyściami gospodarczymi dla organizacji. Bez takiego powiązania możemy zbudować "fantastyczny" system,
ale nie wnoszący żadnej wartości dodanej.
3. Zakres.
Jak zostało powiedziane wcześniej jest to coś w rodzaju prawa fizyki, z którym nie da się "walczyć". Można natomiast zakresem
zarządzać i tak go dzielić na kolejne fragmenty systemu aby były one wykonalne w czasie 3-4 miesięcy oraz były ściśle
powiązane z korzyściami dla organizacji.
4. Umocowanie projektu.
Budowa hurtowni danych jest w gruncie rzeczy przedsięwzięciem biznesowym i do tego sterowanym potrzebami informacyjnymi
o strategicznym znaczeniu. W związku z tym bez zaangażowania ze strony kierownictwa organizacji trudno będzie mówić o
powodzeniu projektu.
Oczywiście zazwyczaj sytuacja odbiega nieco od ideału. Analiza organizacji pod kątem powyższych czynników jest sposobem
zwrócenia uwagi na istotne problemy, mogące wystąpić podczas budowy hurtowni danych.
Dodatkowym problemem, jakże często występującym w wielu organizacjach jest niska jakość danych. Trzeba pamiętać, że z
"bylejakich" danych można wygenerować tylko "bylejakie" raporty. Jeśli dane organizacji są w znacznym stopniu zaśmiecone -
zawierają dużo nieaktualnych lub błędnych danych, nie należy oczekiwać, że hurtownia danych "jakimś cudem" dostarczy nam
właściwych informacji. Jakość informacji uzyskiwanych z hurtowni danych zawsze będzie adekwatna do jakości danych
z
ródłowych. Nie oznacza to oczywiście, że "wyczyszczenie" danych z
ródłowych nie jest możliwe - oczywiście, w większości
przypadków daje się to zrobić, często jednak wymaga to dodatkowej pracy użytkowników jak również zespołu realizującego
hurtowniÄ™ danych.
Przedsięwzięcie budowy hurtowni danych wydaje się być bardzo złożone. Ale, czy uzyskanie dużych, wymiernych korzyści nie
wymaga dużego nakładu pracy?
***
Infovide sp z o.o jest polską firmą konsultingową, działającą na rynku od 1991 roku. Firma koncentruje się na strategicznych
zastosowaniach nowoczesnych technologii informatycznych w biznesie prowadzÄ…c prace konsultingowe, analityczne,
programistyczne i wdrożeniowe. Infovide pełni dla swoich klientów rolę architekta systemów informacyjnych, świadcząc usługi
związane z projektowaniem i realizacją inwestycji informatycznych. Ważnym obszarem doradztwa Infovide jest wdrażanie
nowoczesnych rozwiązań organizacyjnych i metod pracy w zespołach informatycznych. Infovide realizuje projekty w
bankowości, telekomunikacji, mediach, przemyśle, energetyce i administracji państwowej. Jest też uznanym dostawcą know-
how dla polskiej branży informatycznej. Infovide rozwija swoją ofertę współpracując z najbardziej uznanymi na świecie
specjalistami z zakresu zastosowań informatyki i e-biznesu takimi, jak: Ed Yourdon, Tom De Marco, Tim Lister, Earl Hadden,
John Zachman, James Rumbaugh, Paul Strassmann, Susanne Robertson. Infovide jest wysoko notowana w rankingach, wg
raportu TELEINFO 500 - zajmuje drugie miejsce wśród 25 największych firm teleinformatycznych jako wykonawca usług
konsultingowych.
© Copyright © 2001, Infovide Sp. z o.o., ul. Kolejowa 5/7, 01-217 Warszawa, tel. [phone], faks (22) 5347402, www.infovide.pl, e-mail: [e-mail]
5