I
STOTA I STRUKTURY HURTOWNI
DANYCH
Zasady eksploracji danych
I
STOTA I STRUKTURY HURTOWNI
DANYCH
Zasady eksploracji danych
S
PIS TRE
Ś
CI
Spis tre
ś
ci:
I.
Wst
ę
p
Definicja - Hurtownia danych
Zalety hurtowni danych
Kto potrzebuje hurtowni
danych?
Cele i przykłady
Jaka powinna by
ć
hurtownia
IV.
Projektowanie
Metody projektowania i
wdra
ż
ania hurtowni
danych
ETL
Ź
ródła danych
Przegl
ą
d rozwi
ą
za
ń
-
przykłady
Jaka powinna by
ć
hurtownia
danych?
II.
Implementacja
Standardowa implementacja
Rodzaje implementacji danych
III.
Architektura
Architektura
Schemat gwiazdy
Schemat płatka
ś
niegu
Schemat konstelacji faktów
przykłady
V.
Eksploatacja
Definicja
Metody eksploatacji danych
Przykłady stosowanych
rozwi
ą
za
ń
Metody przetwarzania
Zastosowanie
VI.
Podsumowanie
VII.
Bibliografia
W
ST
Ę
P
H
U
R
T
O
W
N
IA
D
A
N
Y
C
H
Definicja
Hurtownia danych (
ang.
data
warehouse) – rodzaj
bazy danych
,
która jest zorganizowana i
zoptymalizowana pod k
ą
tem pewnego
wycinka rzeczywisto
ś
ci.
Hurtownia danych to zbiór
http://pl.wikipedia.org/wiki/Hurtownia_danych
Hurtownia danych to zbiór
zintegrowanych, nieulotnych,
ukierunkowanych baz danych,
wykorzystywanych w systemach
wspomagania decyzji.
http://www.jakubw.pl/zajecia/hur/HUR2006_01.pdf
Wa
ż
ne
H
U
R
T
O
W
N
IE
D
A
N
Y
C
H
Czym jest
hurtownia danych
wg H. Inmonna?
zbiór danych wspomagaj
ą
cych
podejmowanie decyzji, który jest:
uporz
ą
dkowany tematycznie,
zintegrowany,
zawieraj
ą
cy wymiar czasowy,
nieulotny.
Jest to definicja autorstwa Williama H. Inmonna
Hurtownia danych – Starczewski, Zr
ę
da
H
U
R
T
O
W
N
IA
D
A
N
Y
C
H
Dodatkowy pi
ą
ty
punkt , który cz
ę
sto
dodawany jest do
definicji hurtowni
danych
Hurtownia danych ma wspomaga
ć
przetwarzanie informacji dla celów
strategicznych i analitycznych (w
przeciwie
ń
stwie do systemów
transakcyjnych realizuj
ą
cych
przetwarzanie dla celów
operacyjnych)
Z
A
L
E
T
Y
Agregacja danych (cz
ę
sto
niejednorodnych)
Mo
ż
liwo
ść
eksploracji danych w my
ś
l
zasady "od ogółu do szczegółu"
(poziomy agregacji danych)
Analizy przekrojowe z całego zakresu
działalno
ś
ci organizacji
Jednorodno
ść
danych
Jednorodno
ść
danych
http://pl.wikipedia.org/wiki/Hurtownia_danych#Architektura
K
T
O
P
O
T
R
Z
E
B
U
J
E
H
U
R
T
O
W
N
I
Kto i do czego
potrzebuje hurtowni
danych?
Menad
ż
erowie
Do zarz
ą
dzania taktycznego
Analitycy
Bie
żą
ca analiza sytuacji podmiotu
Prognozy
Stratedzy firmy
Tworzenie planów strategicznych krotko
i długookresowych.
H
U
R
T
O
W
N
I
D
A
N
Y
C
H
?
P
O
C
O
S
Ą
H
U
R
T
O
W
N
IE
D
A
N
Y
C
H
Niektóre przykłady
Podstawowe cele:
przetwarzanie analityczne danych
(OLAP)
wspomaganie decyzji (DSS)
archiwizacja
Przykłady:
http://www.jakubw.pl/zajecia/hur/HUR2006_01.pdf
Wa
ż
ne
D
A
N
Y
C
H
Przykłady:
zestawienia (zbiorcze, porównawcze,
okresowe)
analizy statystyczne
analizy trendów
zale
ż
no
ś
ci mi
ę
dzy danymi
planowanie i kontrola celów
Hurtownia danych – Starczewski, Zr
ę
da
J
A
K
A
P
O
W
IN
N
A
B
Y
Ć
H
U
R
T
O
W
N
IA
Cechy dobrej
hurtowni danych
Powinna by
ć
łatwa w u
ż
yciu
Stanowi
ć
jedyne
ź
ródło informacji
Synchronizowa
ć
dane mi
ę
dzy
oddziałami firmy
Integrowa
ć
dane w organizacji
Stworzona do celów analitycznych
H
U
R
T
O
W
N
IA
D
A
N
Y
C
H
?
I
MPLEMENTACJA
Hurtowni danych
Przykładowa architektura hurtowni danych
Hurtownie danych – Jerzy Surna
S
T
A
N
D
A
R
D
O
W
A
IM
P
L
E
M
E
N
T
A
C
J
A
Rozmiar > 1TB
Liczba u
ż
ytkowników – około 100
(analityków)
Typowy czas wdro
ż
enia – od 6
miesi
ę
cy do 3 lat
IM
P
L
E
M
E
N
T
A
C
J
A
http://pl.wikipedia.org/wiki/Hurtownia_danych#Architektura
I
M
P
L
E
M
E
N
T
A
C
J
A
Rodzaje
implementacji
danych
Architektura scentralizowana:
fizyczna hurtownia centralna (i ew.
ODS).
Architektura federacyjna: hurtownia
centralna jest wirtualna (perspektywy
nie zawsze zmaterializowane),
pobiera dane z ODS.
Architektura warstwowa: fizyczna
hurtownia centralna, kolejne warstwy
hurtownia centralna, kolejne warstwy
fizycznych hurtowni tematycznych.
http://www.jakubw.pl/zajecia/hur/HUR2006_01.pdf
http://www.jakubw.pl/zajecia/hur/HUR2006_01.pdf
http://www.jakubw.pl/zajecia/hur/HUR2006_01.pdf
http://www.jakubw.pl/zajecia/hur/HUR2006_01.pdf
A
RCHITEKTURA
Hurtowni danych
A
R
C
H
IT
E
K
T
U
R
A
1/2
Warstwa zasilania
Zajmuje si
ę
przetwarzaniem danych, ich
czyszczeniem i standaryzacj
ą
, ł
ą
czeniem.
Warstwa danych wła
ś
ciwych
(hurtownia danych)
Dalsza obróbka, generowane agregaty
danych, wykonywane raporty oraz
ostateczna obróbka danych przed ich
udost
ę
pnieniem.
Składnica danych (Data Mart)
Jej celem jest przyspieszenie dost
ę
pu do
najcz
ęś
ciej wykorzystywanych danych.
Zaprojektowana pod k
ą
tem szybko
ś
ci a nie
elastyczno
ś
ci
Obsługuje standardowe zapytania
Niewielka liczba danych – najcz
ęś
ciej
agregaty.
Przechwytuje najcz
ęś
ciej zadawane
kwerendy.
A
R
C
H
IT
E
K
T
U
R
A
2/2
Operacyjny magazyn danych (ODS
– operation Data Store)
Jego celem jest udost
ę
pnienie
zebranych i zintegrowanych danych
Jest
ź
ródłem informacji operacyjnych, dane
pochodz
ą
z ró
ż
nych aplikacji
Mała liczba danych, ma odpowiada
ć
na
pytania dotycz
ą
ce aktualnych danych
Mo
ż
e by
ć
zast
ą
piony przez zmodyfikowany
TSA
Ostania warstwa - warstwa
Ostania warstwa - warstwa
udost
ę
pniania danych (front-end)
Narz
ę
dzia analityczne
Generatory zapyta
ń
Specjalizowane aplikacje
Serwery www umo
ż
liwiaj
ą
ce dost
ę
p do
danych poprzez przegl
ą
dark
ę
www
Czyli wszystko to do czego ma dost
ę
p
u
ż
ytkownik hurtowni
S
C
H
E
M
A
T
G
W
IA
Z
D
Y
Architektura
hurtowni danych
Centralna tabela faktów
Wymiary zdenormalizowane
Tabela faktów poła˛czona z tabelami
wymiarów poprzez klucze główne i
klucze obce
http://icis.pcz.pl/~olga/projekty/hurt.pdf
S
C
H
E
M
A
T
P
Ł
A
T
K
A
Ś
N
IE
G
U
Architektura
Centralna tabela faktów
Wymiary znormalizowane
http://icis.pcz.pl/~olga/projekty/hurt.pdf
S
C
H
E
M
A
T
K
O
N
S
T
E
L
A
C
J
I
F
A
K
T
Ó
W
Architektura
Schemat stanowi
ą
cy kombinacj
ę
schematów gwiazd współdziel
ą
cych
niektóre wymiary
Ró
ż
ne tabele faktów mog
ę
odwoływac si
ę
do ró
ż
nych poziomów
danego wymiaru
http://icis.pcz.pl/~olga/projekty/hurt.pdf
P
ROJEKTOWANIE
Hurtowni danych
M
E
T
O
D
Y
P
R
O
J
E
K
T
O
W
A
N
IA
I
W
D
R
A
Ż
D
A
N
Y
C
H
1/2
Wielki wybuch
budowa korporacyjnej hurtowni danych
w ramach jednego projektu
globalna analiza wymaga´ n,
implementacja cało´sciowej hurtowni
danych,
implementacja aplikacji analitycznych
długi czas realizacji, pocza˛tkowo
wybrane technologie przestaja˛ by
W
D
R
A
Ż
A
N
IA
H
U
R
T
O
W
N
I
wybrane technologie przestaja˛ by
wspierane przez dostawców
http://icis.pcz.pl/~olga/projekty/hurt.pdf
M
E
T
O
D
Y
P
R
O
J
E
K
T
O
W
A
N
IA
I
W
D
R
A
Ż
D
A
N
Y
C
H
2/2
Od ogółu do szczegółu
iteracyjna realizacja hurtowni danych, po
kolei dla ka˙zdego obszaru
tematycznego, konstrukcja zale˙znych
składnic danych
Od szczegółu do ogółu
realizacja niezalez˙nych składnic
danych, z wizja˛ ich przyszłej integracji
w jedna˛ hurtownie˛ danych
W
D
R
A
Ż
A
N
IA
H
U
R
T
O
W
N
I
w jedna˛ hurtownie˛ danych
E
T
L
•
Ekstrakcja
•
Transformacja
•
Wczytywanie
Ekstrakcja: odczyt ´zródłowych
danych z operacyjnych baz danych,
systemów starej generacji, plików
zewn
ę
trznych
Transformacja: ł
ą
czenie danych, ich
weryfikacja, walidacja, czyszczenie i
znakowanie czasowe
Wczytywanie: wprowadzanie danych
do docelowej hurtowni danych
do docelowej hurtowni danych
Ź
R
Ó
D
Ł
A
D
A
N
Y
C
H
Rodzaje
ź
ródeł
danych
Produkcyjne - systemy operacyjne,
operacyjne bazy danych (IMS, DB2,
Oracle, Sybase, Informix), systemy
plików, dedykowane aplikacje (SAP,
PeopleSoft, Oracle Financials)
Zarchiwizowane - dane historyczne,
potrzebne do inicjalizacji hurtowni,
mog
ą
wymagac unikalnej
transformacji
transformacji
Zewn
ę
trzne - komercyjne bazy
danych, Internet, problemy zwi
ą
zane
z formatem, cz
ę
stotliwo
ś
ci
ą
od
ś
wie
ż
ania, przewidywalno
ś
ci
ą
Wewn
ę
trzne - wewn
ę
trzne bazy
danych, dokumenty, arkusze
kalkulacyjne
P
RZEGL
Ą
D ROZWI
Ą
ZA
Ń
O
RACLE
W
AREHOUSE
B
UILDER
jako system bazy danych Oracle 8i;
aplikacje analityczne;
kreatorzy wspomagaj
ą
cy działania projektowe;
kod generowany jest automatycznie;
do tworzenia składnic danych Oracle Data Mart
Suite;
programy analityczne: OLAP (Oracle Express) i
data mining (Oracle Darwin).
P
RZEGL
Ą
D ROZWI
Ą
ZA
Ń
IBM V
ISUAL
W
AREHOUSE
Zawiera szereg narz
ę
dzi przeznaczonych do
realizacji poszczególnych kroków projektu hurtowni
danych. W pakiecie zawarty jest równie
ż
serwer
bazy danych DB2 - platforma, na której mo
ż
e
działa
ć
hurtownia korporacyjna.
działa
ć
hurtownia korporacyjna.
IBM oferuje równie
ż
aplikacje analityczne w
technologii OLAP (DB2 OLAP Server) i data mining
IntelligentMiner.
P
RZEGL
Ą
D ROZWI
Ą
ZA
Ń
S
Y
B
ASE
W
AREHOUSE
S
TUDIO
W jego skład wchodzi ponad dziesi
ęć
narz
ę
dzi i
aplikacji przeznaczonych do obsługi projektu
(modelowania, oczyszczania i przenoszenia
danych), składowania i zarz
ą
dzania danymi,
tworzenia zapyta
ń
i raportów.
tworzenia zapyta
ń
i raportów.
Jako platform
ę
do działania hurtowni danych
Sybase oferuje własny serwer bazy danych -
Adaptive Enterprise Server.
P
RZEGL
Ą
D ROZWI
Ą
ZA
Ń
C
OMPUTER
A
SSOCIATES
pakiet DECISIONBASE:
projektowanie modelu danych - ErWin;
zasilanie danymi z ró
ż
nych
ź
ródeł - Transformer;
metadane – PLANTIUM Repository;
narz
ę
dzia analityczne, OLAPServer i rozwi
ą
zanie
narz
ę
dzia analityczne, OLAPServer i rozwi
ą
zanie
bazuj
ą
ce na sieciach neuronowych – Neugents;
wiele innych.
E
KSPLOATACJA
Hurtowni danych
E
K
S
P
L
O
R
A
C
J
A
D
A
N
Y
C
H
definicja
Jeden z etapów procesu odkrywania
wiedzy
z
baz danych
(
ang.
Knowledge Discovery in Databases,
KDD). Idea eksploracji danych polega
na wykorzystaniu szybko
ś
ci
komputera
do znajdowania ukrytych
dla
człowieka
prawidłowo
ś
ci w
danych
zgromadzonych w
hurtowniach
danych
.
danych
.
http://pl.wikipedia.org/wiki/Eksploracja_danych
M
E
T
O
D
Y
E
K
S
P
L
O
R
A
C
J
I
D
A
N
Y
C
H
Dwa sposoby
podziału
Techniki predykcyjne – uogólnienie i
przewidywanie
Techniki deskrypcyjne – opis
danych i uchwycenie ogólnych cech
opisywanych obiektów
Techniki uczenia nadzorowanego –
„uczy si
ę
” rozró
ż
niac przykłady
D
A
N
Y
C
H
„uczy si
ę
” rozró
ż
niac przykłady
nale
żą
ce do ró
ż
nych klas
Techniki uczenia bez nadzoru –
formułuje model najbardziej pasuj
ą
cy
do obserwowanych danych
Hurtownie danych – metody eksploracji
P
R
Z
Y
K
Ł
A
D
Y
S
T
O
S
O
W
A
N
Y
C
H
R
O
Z
W
I
Ą
Ń
Zakresy
Przykładowych
stosowanych
rozwi
ą
za
ń
Techniki i metody słu
żą
ce eksploracji
danych wywodz
ą
si
ę
głównie z obszaru
bada
ń
nad
sztuczn
ą
inteligencj
ą
.
Główne przykłady stosowanych
rozwi
ą
za
ń
nale
żą
do nast
ę
puj
ą
cych
zakresów:
wizualizacje na wykresach
metody statystyczne
R
O
Z
W
I
Ą
Z
A
Ń
sieci neuronowe
metody uczenia maszynowego
metody ewolucyjne
logika rozmyta
zbiory przybli
ż
one
http://pl.wikipedia.org/wiki/Eksploracja_danych
M
E
T
O
D
Y
P
R
Z
E
T
W
A
R
Z
A
N
IA
Jakie s
ą
metody
przetwarzania
danych
W eksploracji danych rozwijane s
ą
ró
ż
ne metody przetwarzania, ró
ż
ni
ą
ce
si
ę
zakresem zastosowa
ń
, stosowanymi
algorytmami
rozwi
ą
za
ń
, sposobem
prezentacji wyników. W
ś
ród nich
wyró
ż
nia si
ę
:
streszczanie
poszukiwanie asocjacji
analiza funkcjonalna
klasyfikacja
grupowanie
http://pl.wikipedia.org/wiki/Eksploracja_danych
Z
A
S
T
O
S
O
W
A
N
IE
K
D
D
Gdzie znajduje
zastosowanie
KDD?
Zastosowania KDD znajduj
ą
zastosowania przy:
eksploracji danych o ruchu internetowym,
rozpoznawaniu sygnałów obrazu, mowy,
pisma,
wspomaganiu diagnostyki medycznej,
badaniach genetycznych,
analizie operacji bankowych,
projektowaniu hurtowni danych,
tworzeniu reklam skierowanych(ang.
Targeted ads),
prognozowaniu sprzeda
ż
y(ang. Sales
forecast),
wdra
ż
aniu strategii Cross-selling'owej,
wykrywaniu nadu
ż
y
ć
(ang. Fraud detection),
ocenie ryzyka kredytowego,
segmentacji klientów.
http://pl.wikipedia.org/wiki/Eksploracja_danych
P
ODSUMOWANIE
P
ODSUMOWANIE
budowa hurtowni to wielkie wyzwanie z uwagi na
zło
ż
ono
ść
technologiczn
ą
i organizacyjn
ą
;
najcz
ęś
ciej trwa dwa, trzy lata, pierwsze wyniki
najcz
ęś
ciej po roku;
koszty sprz
ę
tu i oprogramowania rz
ę
du milionów
koszty sprz
ę
tu i oprogramowania rz
ę
du milionów
dolarów;
korzy
ś
ci biznesowe mog
ą
by
ć
zerowe lub
stuprocentowe.
coraz wi
ę
cej firm decyduje si
ę
na taki krok;
w USA rynek hurtowni to ponad 40 mld dolarów i
szybko ro
ś
nie.
B
IB
L
IO
G
R
A
F
IA
Ostatnie wej
ś
cie na
strony w bibliografii:
19/05/2011
http://www.google.pl/url?sa=t&source=web&cd=6&ve
d=0CFYQFjAF&url=http%3A%2F%2Fwww.ipipan.wa
w.pl%2F%257Esubieta%2Fprezentacje%2520studen
ckie%2FHurtownie%2520Danych%2520-
%2520Starczewski%26Zreda.ppt&rct=j&q=Hurtownie
%20danych&ei=A1XVTa_vBc6OswaEgKWUDA&usg
=AFQjCNEfIKFGv39wAqBuyc5Yf4V8EeL9QQ&sig2=
o4Et8NChxs7d_vVw9HYYWA&cad=rja
http://pl.wikipedia.org/wiki/Hurtownia_danych#Archite
ktura
http://icis.pcz.pl/~olga/projekty/hurt.pdf
http://www.jakubw.pl/zajecia/hur/HUR2006_01.pdf
http://icis.pcz.pl/~olga/projekty/hurt.pdf
http://www.google.pl/url?sa=t&source=web&cd=10&v
http://www.google.pl/url?sa=t&source=web&cd=10&v
ed=0CFgQFjAJ&url=http%3A%2F%2Fwww.e-
sgh.pl%2Fniezbednik%2Fplik.php%3Fid%3D2724344
0%26pid%3D460&rct=j&q=Hurtownie%20danych%20
Eksploatacja%20&ei=am7VTe7wFY_AswbZ7tiEDA&u
sg=AFQjCNFO7HZUi5iqGi68iqXsQ_N2wNBwJQ&sig
2=zyWFHiXcnl-Ivnual6om8w&cad=rja
http://pl.wikipedia.org/wiki/Eksploracja_danych