Hurtownie Danych: Projektowanie Hurtowni Danych
Igor Wojnicki
Wyższa Szkoła Turystyki i Ekologii w Suchej Beskidzkiej
19 listopada 2007
02proj_hurt.tex,v 1.4 2007/11/19 11:20:16 wojnicki Exp
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 1 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Spis treści I
1
Projektowanie Bazy Danych dla Hurtowni
Modelowanie Wielowymiarowe
2
Metoda Projektowania
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 2 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Modelowanie Wielowymiarowe
Modelowanie Wielowymiarowe: Dimentional Model (DM)
Technika projektowania logicznego, której celem jest prezentacja
danych w standardowej, intuicyjnej formie pozwalajÄ…cej na
wysokowydajny dostęp.
Modelowanie ER (Entity Relationship  hmmm a co to takiego?) z
ograniczeniami:
Jedna tabela ze złożonym kluczem głównym: Tabela Faktów.
Zbiór mniejszych tabel: Tabele Wymiarów,
każda zawiera jeden prosty (niezłożony) klucz główny,
klucz główny odpowiada segmentowi klucza złożonego w tabeli
faktów.
Klucz główny Tabeli Faktów złożony jest z przynajmniej 2 kluczy
obcych.
Schemat Gwiazdy, ZÅ‚Ä…czenie Gwiaz
dziste.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 3 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Schemat Gwiazdy, przykład
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 4 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Klucze zastępcze
Wszystkie naturalne klucze zastąpione kluczami zastępczymi;
złączenia oparte na kluczach zastępczych.
Klucze zastępcze bazują na liczbach całkowitych.
Uniezależnienie od danych z OLTP.
Przykład: Każde biuro ma klucz naturalnybiuroNRoraz klucz
zastępczybiuroID.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 5 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Schemat Gwiazdy, definicja
Schemat Gwiazdy
Struktura logiczna, w centrum której występuje tabela faktów
zawierająca dane rzeczowe, a otaczają ją tabele wymiarów z danymi
referencyjnymi, które mogą być zdenormalizowane. Schemat
zdenormalizowany.
Wszystkie fakty zostały wygenerowane przez zdarzenia w
przeszłości.
Fakty nie ulegną zmianie, bez względu na ich analizę.
Zwykle fakty zawierają wartości numeryczne analiza,
agregacja.
Wymiary zawierajÄ… opisowe informacje tekstowe.
Uzytecznosc proporcjonalna do stopnia dopasowania do
wymagań danych przechowywanych w tabelach wymiarów: pod
jakim kontem można analizować dane.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 6 / 31
ych
Dan
wnie
Hurto
ójńicki,
I.Ä…
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Schemat Gwiazdy, Denormalizacja
Denormalizacja
przyspiesza
wykonanie
zapytań: brak
złączeń.
Denormalizacja
nieporzÄ…dna:
rzadkie
zapytania dot.
zdenormalizo-
wanych
danych.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 7 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Schemat PÅ‚atka Åšniegu
Schemat PÅ‚atka Åšniegu
Odmiana Schematu Gwiazdy, tabele wymiarów nie zawierają
zdenormalizowanych danych. Schemat znormalizowany.
MiastoiRegion
mogą być wspólne dla
innych tabel
wymiarów.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 8 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Schemat PÅ‚atkowo-Gwiaz
dzisty
Schemat PÅ‚atkowo-Gwiaz
dzisty
Struktura hybrydowa Å‚Ä…czÄ…ca schematy Gwiazdy i PÅ‚atka Åšniegu.
Niektóre wymiary mogą wystepować w obu postaciach:
zaspokojenie wymagań róznych zapytań.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 9 / 31
ych
Dan
wnie
"s
rto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Zalety Modelu Wielowymiarowego I
Efektywność Spójność struktury bazyt danych zapewnia bardziej
efektywny dostęp przez różne narzędzia: generatory
raportów, narzędzia do zadawania zapytań.
Zdolność do obsługi zmieniających się wymagan Schemat gwiazdy
można dopasować do zmieniających się wymagań
użytkowników, wszystkie zapytania są równoważne ze
względu na realizacje dostępu do tabeli faktów; lepsza
obsługa zapytań ad-hoc.
Rozszerzalność Typowe zmiany:
dodawanie nowych faktów, o ile są zgodne ze
szczegółowością tabeli faktów,
dodawanie nowych wymiarów, o ile w każdym
istniejącym fakcie występują pojedyncze wartości
odpowiadajÄ…ce temu wymiarowi,
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 10 / 31
ych
Dan
wnié
Hs
rto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Zalety Modelu Wielowymiarowego II
dodawanie nowych atrybutów wymiarowych,
podział istniejących rekordów wymiaru według
niższego poziomu szczegółowości, poczynając od
pewnego momentu czasu.
Zdolność modelowania typowych sytuacji biznesowych Schematy
tworzenia hurtowni danych dla typowych zastosowań;
wolno zmieniajÄ…ce siÄ™ wymiary.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 11 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
ZwiÄ…zki Encji vs. Modele Wielowymiarowe
Pojedynczy
model ER jest
rozkładany na
wiele modeli
DM.
DM sÄ… Å‚Ä…czone
za pomocÄ…
wspólnych
tabel
wymiarów.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 12 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 13 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Projektowanie Bazy Danych dla Hurtowni Modelowanie Wielowymiarowe
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 14 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
Metoda 9-ciu Kroków.
Ralph Kimball, 1996.
1
Wybór procesu.
2
Wybór poziomu szczegółowości.
3
Identyfikacja i uzgodnienie wymiarów.
4
Wybór faktów.
5
Umieszczenie wstępnych obliczen w tabeli faktów.
6
Zaokrąglanie tabeli wymiarów.
7
Wybór zakresu czasowego bazy danych.
8
Śledzenie wolno zmieniających się wymiarów.
9
Określenie priorytetów i trybów zapytań.
Artykuły:
http://www.dbmsmag.com/9701d05.html
http://www.dbmsmag.com/9612d05.html
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 15 / 31
ych
Dan
wnie
Hurtó
ojnicki,
I.W
Metoda Projektowania
1.Wybór Procesu
Wybór zakresu podmiotowego składnicy, hurtowni.
Wybrać tą, która ma największe szanse realizacji w terminie,
odpowiada na najbardziej istotne zapytania klienta: np. sprzedaż.
Wymagania: z
ródła danych wysokiej jakości.
Zwykle: zestawienia miesięczne, faktury, etc.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 16 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
1.Wybór procesu, przykład
Agencja Handlu Nieruchomościami.
Główne procesy biznesowe:
sprzedaż nieruchomości,
wynajem nieruchomości,
prezentacja nieruchomosci,
ogłaszanie nieruchomości,
konserwacja nieruchomości.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 17 / 31
ych
Dan
wnie
Hśrto
ojnicki,
I.W
Metoda Projektowania
1.Wybór procesu, przykład, ERD
Fakty: szare.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 18 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
1.Wybór procesu, przykład, ERD
Sprzedaż nieruchomości.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 19 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
2.Wybór poziomu szczegółowości
Co będą reprezentowały rekordy w tabeli faktów.
w przykładzie:Sprzedaż Nieruchmości: jednostkowa
sprzedaż nieruchomości.
Poziom szczegółowości tabeli faktów wyznacza również poziom
szczegółowości tabeli wymiarów.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 20 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
3.Identyfikacja i uzgodnienie wymiarów
Wymiary: encje związane z wybraną tabelą faktów w ER.
Dodatkowo:Czas.
Co będą zawierały rekordy w tabelach wymiarów.
przykład:KlientKupujący: klientID, klienNR, klientNazwisko,
klientTyp, miasto, region, kraj
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 21 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
Wymiary zgodne
Wymiary
występujące w
dwóch lub
więcej
składnicach
danych muszÄ…
być zgodne:
takie same
rekordy
Pozwala to
łączyć
składnice
hurtownie
danych.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 22 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
4.Wybór faktów
Wszystkie fakty muszą być wyrażone na wybranym poziomie
szczegółowości.
np. jednostkowa sprzedaż nieruchmosci: wszystkie fakty
numeryczne odnoszą sie do jednej konkretnej sprzedaży.
Fakty powinny być numeryczne.
Fakty powinny być addytywne.
Dodatkowe fakty mogą być dołączone do tabeli faktów pod
warunkiem, że są zgodne z poziomem szczegółówości tabeli.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 23 / 31
ych
Dan
ƒnie
Hurto
ojnicki,
I.W
Metoda Projektowania
4.Wybór faktów, przykład
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 24 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
4.Wybór faktów, błędy
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 25 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
5.Umieszczenie wstępnych obliczeń w tabeli faktów
Sprawdzenie czy na wybranych faktach
można dokonywać obliczeń wstępnych.
np. rachunek zysków i strat,
okresNajmu,czynszCalkowity,
bonifikataKlienta,
prowizjaPracownika,
dochodCalkowity: addytywne,
można wyprowadzić: średnia
bonifikataKlienta, agregacja
dochodCalkowity=czynszCalkowity
-(bonifikataKlienta
+prowizjaPracownika).
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 26 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
6.Zaokrąglenie tabel wymiarów
Dodanie opisów tekstowych do tabel wymiarów.
Opisy intuicyjne i zrozumiałe dla potencjalnych użytkowników.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 27 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
7.Wybór zakresu czasowego bazy danych
Zakres czasowy
Najbardziej odległy moment w przeszłosci, do którego odnoszą się
jeszcze informacje w tabeli faktów.
Problem wolno zmieniających się wymiarów.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 28 / 31
ych
Dan
wnie
Hurtó
ojnicki,
I.W
Metoda Projektowania
8.Śledzenie wolno zmieniających się wymiarów
Zmiany sposobu reprezentacji danych w OLTP. Reprezentacja danych
historycznych inna niż reprezentacja aktualna.
Podejścia:
zmieniony atrybut zastępuje poprzedni,
zmiana atrybutu powoduje utworzenie nowego rekordu wymiaru,
zmiana wartości atrybutu powoduje stworzenie alternatywnego
atrybutu, obie wartosci atrybutu są dostępne w tym samym
rekordzie wymiaru.
Artukuł:http://www.dbmsmag.com/9604d05.html
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 29 / 31
ych
Dan
wnie
Hurto
ojnickí,
I.W
Metoda Projektowania
9.Określenie priorytetów i trybów zapytań
Fizyczne uporządkowanie rekordów na dysku.
Obecność wstępnie policzonych podsumowań lub agregacji.
inne...
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 30 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W
Metoda Projektowania
Konstelacja faktów: DM z
conajmniej 2 tabelami fak-
tów wspólnie korzystający z
zgodnych tabel wymiarów.
Igor Wojnicki (WSTE) Hurtownie Danych: Projektowanie Hurtowni Danych 19 listopada 2007 31 / 31
ych
Dan
wnie
Hurto
ojnicki,
I.W