Hurtownie Danych: Wstęp Igor Wojnicki Wyższa Szkoła Turystyki i Ekologii w Suchej Beskidzkiej 17 listopada 2007 01hurtownie.tex,v 1.3 2007/11/17 17:20:23 wojnicki Exp Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 1 / 46 ych Dan wnie Hurto ojnicki, I.W Spis treści I 1 Sylabus Oficjalny Sylabus Plan Wykładów 2 Geneza 3 Wprowadzenie do Hurtowni Danych Ewolucja Hurtowni Danych Pojęcie Hurtowni Danych Porównanie OLTP z Hurtowaniami Danych Problemy z Hurtowniami Danych 4 Architektura Hurtowni Danych Architektura Narzędzia dla uzytkowników 5 Przepływ danych w Hurtowni 6 Narzędzia i Technologie Hurtowni Danych Narzędzie do pobierania, czyszczenia i przekształcania danych Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 2 / 46 ych Dan wnie Hurto ojni%0łki, I.W Spis treści II Metadane w Hurtowni Narzędzia do administracji 7 Hurtownie Danych: Podsumowanie Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 3 / 46 ych Dan wnie Hurto ojnicki, I.W Sylabus Oficjalny Sylabus Sylabus I Nazwa przedmiotu: Hurtownie danych Wymiar godzinowy: wykład 15 ćwiczenia -- laboratorium -- projekt 15 Forma zaliczenia: zaliczenie Program Wprowadzenie do hurtowni danych. Projektowanie i budowa hurtowni. Cele, struktura i metodologia budowy hurtowni. Integracja danych, wielowymiarowa agregacja, optymalizacja i przetwarzanie zapytań, zarządzanie metadanymi. Języki i metody analizy danych, drażenie danych (ang. data mining), Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 4 / 46 ych Dan wnie Hurto ojnicki, ..W Sylabus Oficjalny Sylabus Sylabus II techniki, narzędzia, raporty. Dostęp do danych w zewnętrznych, heterogenicznych bazach danych. Administrowanie hurtowniami danych. Aplikacje wspomagania decyzji. Literatura 1. V. Poe, Tworzenie hurtowni danych: wspomaganie podejmowania decyzji. Wydawnictwo Naukowo-Techniczne 2000. 2. A.R.Simon, S.L. Shaffer: Hurtownie danych i systemy informacji gospodarczej. Wydawnictwo Oficyna Ekonomiczna 2002. 3. R.Trueblood: Zastosowanie języka SQL do analizy i eksploracji danych. Wydawnictwo MIKOM 2002. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 5 / 46 ych Dan wnie Hurto ojnicki, I.W Sylabus Oficjalny Sylabus Sylabus III 4. C.Todman: Projektowanie hurtowni danych. Zarządzanie kontaktami z klientami. Wydawnictwa Naukowo-Techniczne 2003. 5. W.H.Inmon: Data warehouse performance. John Wiley 1999. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 6 / 46 ych Dan wnie Hurto ojnicki, I.W Sylabus Plan Wykładów Przedmiot Wykładów 1 Hurtownie Danych: Wstęp, Podstawowe Pojęcia i Zagadnienia. 2 Projektowanie Hurtowni Danych 3 OLAP i Eksploracja Danych Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 7 / 46 ych Dan wnie Hurto ojnicki, I.W Geneza Geneza Geneza w środowiskach biznesowych. Poszukiwanie nowych technologii wieksze dochody, większa konkurencyjność. Przyspieszenie procesu podejmowania decyzji ! posiadanie we właściwym czasie właściwej informacji. Dane rozrzucone: rózne systemy, dane niepowiązane. Hurtownie Danych: dostarczenie informacji do wypracowania decyzji; analiza danych. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 8 / 46 ych Dan wn/e " urto ojnicki, I.W Geneza System Wspomagania Podejmowania Decyzji Dostarczenie informacji umożliwiających zanalizowanie sytuacji i podjęcie decyzji. Decyzje Strategiczne: analiza sprzedaży produktów celem wprowadzenia nowego produktu, bądz też wejście na nowy rynek. Decyzje Taktyczne: zmiana ilości zamawianych produktów. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 9 / 46 ych Dan wnie Hurto ojnicki, I.W Wprowadzenie do Hurtowni Danych Ewolucja Hurtowni Danych Ewolucja Hurtowni Danych Automatyzacja procesów biznesowych od lat 70-tych przewaga nad konkurencją. Lata 80-te: Powszechność Baz Danych. Wykorzystanie danych operacyjnych do podejmowania decyzji biznesowych przewaga nad konkurencją. Wiele systemów informatycznych: sprzeczne informacje, redundancja, rozproszenie. Potrzeba posiadania dostępu do jednego, kompletnego zródła danych dot. firmy celem analizy. Zapotrzebowanie: system pobierający dane z wielu zródeł danych eksploatacyjnych wspierający procesy podejmowania decyzji biznesowych. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 10 / 46 ych Dan wnie Hurto ojnicki, I.W Wprowadzenie do Hurtowni Danych Pojęcie Hurtowni Danych Koncepcja Oryginalna koncepcja powstała w firmie IBM: Hurtownia Informacji. Rozwiązanie problemu dostępu do danych przechowywanych w nierelacyjnych systemach baz danych. Produkt umożliwiający uzyskanie przewagi nad konkurencją. Problemy z wydajnoscią i złożonością :(. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 11 / 46 ych Dan wnie Hurto ojnick, I.W Wprowadzenie do Hurtowni Danych Pojęcie Hurtowni Danych Definicja Hurtowni Danych I Hurtownia Danych Zorientowana podmiotowo, zintegrowana, zróżnicowana czasowo i trwała kolekcja danych przeznaczona do wspomagania procesu podejmowania decyzji przez kierownictwo. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 12 / 46 ych Dan wnie Hurto ojnicki, I.W Wprowadzenie do Hurtowni Danych Pojęcie Hurtowni Danych Definicja Hurtowni Danych II Dane są: zorientowane podmiotowo hurtownia danych zorganizowana jest wokół głównych podmiotów przedsiebiorstwa: klienci, produkty, sprzedaż, a nie wokół działalności: fakturowanie, zarządzanie magazynem, sprzedaż produktów; Istota: wsparcie procesów decyzyjnych, a nie wsparcie aplikacji, zintegrowane dane mogą pochodzić z różnych systemów; dane mogą być niespójne, zachodzi konieczność uzgodnienia np. formatów danych aby prezentować jednolity widok danych, zróżnicowane czasowo dane są poprawne (odnoszą się) do przedziału czasowego, Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 13 / 46 ych Dan wnię Hurto ojnicki, I.W Wprowadzenie do Hurtowni Danych Pojęcie Hurtowni Danych Definicja Hurtowni Danych III trwałe nie są aktualizowane w czasie rzeczywistym (on-line) ale ładowane z systemów operacyjnych w regularnych, zdefiniowanych odstepach czasu; integracja przyrostowa. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 14 / 46 ych Dan wnie Hsrto ojnicki, I.W Wprowadzenie do Hurtowni Danych Pojęcie Hurtowni Danych Cele Hurtowni Danych Integracja Danych Koroporacyjnych z całego przedsiębiorstwa w pojedynczym repozytorium. Użytkownicy tego repozytorium mogą łatwo: zadawać zapytania, tworzyć raporty, wykonywać analizy, Hurtownia danych to technologia zarządzania danymi i ich analizy. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 15 / 46 ych Dan wnie Hurto ojnicki, I.W Wprowadzenie do Hurtowni Danych Pojęcie Hurtowni Danych Korzyści z stosowania Hurtowni Danych Przewaga nad konkurencją zwiększenie obrotów/zysków poprzez dostarczenie decydentom informacji o klientach, trendach, zapotrzebowaniach: niedostępnych uprzednio, niewykorzystanych, nieznanych. Większa wydajność decydentów zintegrowana baza danych zawierajaca dane archiwalne; jeden spójny widok organizacji; przeprowadzanie analiz. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 16 / 46 ych Dan wnie Hurto ojnick/, I.W Wprowadzenie do Hurtowni Danych Porównanie OLTP z Hurtowaniami Danych OLTP OLTP OnLine Transaction Processing: SZBD do przetwarzania transakcji w trybie on-line. Zorientowany na aplikacje. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 17 / 46 ych Dan wnie Hurto ojnicki, I.W Wprowadzenie do Hurtowni Danych Porównanie OLTP z Hurtowaniami Danych OLTP vs. Hurtownie Danych OLTP Hurtownie Danych Przechowują bieżące dane Przechowują dane archiwalne Pamiętają szczegółowe dane Pamiętaja szczegółowe, skumulo- wane (zagregowane) dane Dynamiczna natura danych Statyczna natura danych Przetwarzania (zapytania) powta- Przetwarzania ad-hoc niestruktu- rzają się ralne Wysoka wydajność przetwarzania Nieistotne, często niska do śred- transakcji niej Przewidywalny schemat uzycia Nieprzewidywalny schemat użycia Sterowanie transakcjami Sterowania analizami Zorientowane aplikacyjnie Zorientowane podmiotowo Wspieraja codzienne decyzje Wspierają strategiczne decyzje Duża liczba użytkowników, aplika- Mała liczba użytkowników, decy- cji denci, kadra zarządzająca Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 18 / 46 ych Dan wnię " urto %Ełjnicki, I.W Wprowadzenie do Hurtowni Danych Porównanie OLTP z Hurtowaniami Danych Typowe Zapytania w Hurtowniach Danych I Jaki był ogólny dochód w Polsce w 3 kwartale 2001 roku? Jaki był ogólny dochód ze sprzedaży nieruchomosci dla każdego typu nieruchomości w Wielkiej Brytanii w 2006 roku? Jakie trzy dzielnice były najbardziej popularne wśród wynajmujących nieruchomości w kazdym mieście w 2001 roku i jakie zaszły tu zmiany w stosunku do wyników z poprzednich dwóch lat? Jaki jest miesięczny dochód ze sprzedaży nieruchomości w każdym biurze w porównaniu do odpowiednich danych sprzed 12 miesięcy. Jaki był wynik sprzedaży nieruchomości w różnych regionach Polski jesli koszty czynności prawnych wzrosłyby o 3.5%, a podatki spadły o 1.5% dla nieruchomości o wartości powyżej 200 tys. zł? Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 19 / 46 ych Dn nie Hurto ójnicki, I.W Wprowadzenie do Hurtowni Danych Porównanie OLTP z Hurtowaniami Danych Typowe Zapytania w Hurtowniach Danych II Jakie rodzaje nieruchmości sprzedawane sa popwyżej średnich cen sprzedaży nieruchomości w głównych miastach Polski i jakie są korelacje z danymi demograficznymi? Jaki jest związek pomiędzy ogólnym rocznym dochodem generowanym przez kazde biuro a ogólną liczbą jego pracowników obsługujących sprzedaż? Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 20 / 46 ych Dan wnię " urto ojnicki, I.W Wprowadzenie do Hurtowni Danych Problemy z Hurtowniami Danych Problemy z Hurtowniami Danych Niedoszacowanie zasobów potrzebnych do wprowadzenia danych. Ukryte problemy z systemami zródłowymi (niekompletne dane). Brak wpisów potrzebnych danych. Rosnące wymagania użytkowników. Wysokie zapotrzebowanie na zasoby. Złożona pielęgnacja systemu. Długoterminowosc projektów (półśrodek: Składnice Danych). Złożonośc integracji. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 21 / 46 ych Dan wnie Hurto ojńić1 i, I.W Architektura Hurtowni Danych Architektura Architektura yródła danych. Zarządca wprowadzania danych. Zarządca Hurtowni. Metadane. Szczegółowe, lekko skumulowane, mocno skumulowane dane. SZBD. Dane Archiwalne i Kopie Zapasowe. Narzędzia do tworzenia raportów i zapytań. Narzędzia OLAP. Narzędzia eksploracji danych. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 22 / 46 ych Dan wnie Hurto ojnicki, I.W Architektura Hurtowni Danych Architektura Dane Operacyjne Dane z systemów SZRBD. Dane z serwerów plików. Dane prywatne ze stacji roboczych. Zewnętrzne: Internet, bazy danych powiązane z dostawcami lub klientami. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 23 / 46 ych Dan wnie Hurto ojnicki, I.W Architektura Hurtowni Danych Architektura Operacyjny magazyn danych ODS: Operational Datastore Operacyjny Magazyn Danych: miejsce przechowywania bieżących i zintegrowanych danych operacyjnych używanych do analizy. Etap pośredni przy tworzeniu Hurtowni Danych. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 24 / 46 ych Dan wnie Hurto ojnicki, I.W Architektura Hurtowni Danych Architektura Zarządca Wprowadzania Danych Zwany również składnikiem czołowym, funkcje: Pobieranie danych ze zródeł, albo ODS. Wprowadzanie danych do Hurtowni. Proste transformacje danych przystosowanie danych do wprowadzenia do Hurtowni. Kombinacja narzędzi i programów. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 25 / 46 ych Dan wnie Hurto ojnicki, I.W Architektura Hurtowni Danych Architektura Zarządca Hurtowni Danych Funkcje: Analiza danych celem zapewnienia spójnosci. transformacje i scalanie danych zródłowych pochodzących z pamięci tymczasowej w tabele hurtowni. tworzenie indeksów i perspektyw. generacja denormalizacji. generacja agregacji. tworzenie kopii zapasowych i archiwizacja. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 26 / 46 ych Dan wni Hurtó ojnicki, I.W Architektura Hurtowni Danych Architektura Zarządca zapytań Zwany również składnikiem zaplecza, cechy: Zarządzanie zapytaniami użytkowników. Konstruowany przy użyciu narzedzi realizujących dostęp użytkowników do do danych, narzędzi monitorowania hurtowni, programów wspomagających, aplikacji specjalnych. Kierowanie zapytań do odpowiednich tabel. Szeregowanie wykonywania zapytań. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 27 / 46 ych Dan wnie Hurt%Eł ojnicki, I.W Architektura Hurtowni Danych Architektura Metadane Dane o danych. odwzorowanie zródeł danych na wspólny model: pobieranie danych kierowanie zapytań do odpowiedniego zródła danych: zarządzanie zapytaniami automatyzacja tworzenia tabel skumulowanych: zarządzanie hurtownią Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 28 / 46 ych Dan wnie Hurto ojnicki, I.W Architektura Hurtowni Danych Narzędzia dla użytkowników Narzędzia do tworzenia raportów Komunikacja z Hurtownią za pomocą SQL. Udostępnia SQL do tworzenia raportów. Często Query-by-Example. Izoluje użytkownika od złozoności Hurtowni. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 29 / 46 ych Dan wnie " urto ojnicki, I.W Architektura Hurtowni Danych Narzędzia dla użytkowników Narzędzia programowania aplikacji RAD: graficzne narzędzia do tworzenia aplikacji. Często integracja z narzedziami OLAP. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 30 / 46 ych Dan wnie Hsrto ojnicki, I.W Architektura Hurtowni Danych Narzędzia dla użytkowników Narzędzia przetwarzania analitycznego on-line. OLAP Online Analytical Processing Oprogramowanie wspierające podejmowanie decyzji, które pozwala uzytkownikowi analizować szybko informacje zawarte w wielowymiarowych widokach i hierarchiach. Narzędzia OLAP są czesto używane do wykonywania analiz trendów sprzedaży czy analiz finansowych Analiza danych: złożone wielowymiarowe perspektywy. Np. ocena efektywnosci kampanii marketingowej, prognozowanie sprzedaży produktów, planowanie wydajności. Dane zorganizowane zgodnie z modelem wielowymiarowym. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 31 / 46 ych Dan nie Hurt%Eł ojnick, I.W Architektura Hurtowni Danych Narzędzia dla użytkowników Narzędzia eksploracji danych Eksploracja Danych (Data Mining) Odkrywanie nowych znaczących korelacji, schematów i trendów poprzez eksplorację dużych ilości danych za pomocą technik statystycznych, matematycznych i AI. Budowanie modeli prognostycznych a nie tylko retrospektywnych. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 32 / 46 ych Dan wnie Hurto ojnicki, I.W Przepływ danych w Hurtowni Podstawowe pojęcia przepływu danych Dopływ inflow pobieranie, czyszczenie, wprowadzanie danych zródłowych. Wznoszenie się upflow zwiększanie wartości danych: kumulacja (agregacja). Odpływ downflow archiwizacja. Wypływ outflow udostępnianie danych użytkownikom. Przepływ Metadanych zarządzanie metadanymi. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 33 / 46 ych Dan wnie Hurto ojnicki, I.W Przepływ danych w Hurtowni Dopływ Dopływ Procesy związane z pobieraniem, oczyszczaniem i wprowadzaniem danych pochodzących z systemów zródłowych do hurtowni danych. Może pośredniczyć ODS (Operational Datastore). Oczyszczanie. Restrukturyzacja: dodawanie, usuwanie pól, denormalizacja. Spójność: czy dane nie są wewnętrznie sprzeczne i nie są sprzeczne z danymi w hurtowni. Określenie terminów kiedy dane są pobierane. Automatyzacja. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 34 / 46 ych Dan wnie Hurto ojnicki, I.W Przepływ danych w Hurtowni Wznoszenie się Wznoszenie się Proces związany ze zwiększeniem wartości danych w hurtowni poprzez kumulację, pakowanie i dystrybucje danych. Kumulacja danych poprzez selekcje, rzutowanie, złączanie oraz grupowanie relacyjnych danych w perspektywy (wygodniejsze i bardziej przydatne). Pakowanie danych poprzez konwersję szczegółowych i skumulowanych danych do bardziej użytecznych formatów: arkusze kalkulacyjne, tekst, wykresy, animacje. Dystrybucja danych do odpowiednich grup użytkowników. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 35 / 46 ych Dan wn/e Hurt%Eł ojnicki, I.W Przepływ danych w Hurtowni Odpływ Odpływ Zestaw procesów związanych z archiwizacja i tworzeniem kopii zapasowych danych w hurtowni. Efektywność i wydajność hurtowni, rozmiar pamięci. B.duża ilość danych przenoszenie starych danych do pamięci archiwalnych. Odtworzenie aktualnego stanu danych hurtowni w przypadku awarii. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 36 / 46 ych Dan wn/e Hurto ojnicki, I.W Przepływ danych w Hurtowni Wypływ Wypływ Zestaw procesów związanych z udostępnianiem danych użytkownikom. Udostępnianie zaspokajanie żądan uzytkowników; umożliwienie używania narzędzi realizujących dostęp do danych; zapytania ad-hoc. Dostarczanie publikacja danych i automatyczne dostarczanie użytkownikom bez konieczności ich rządania publikacja i subskrypcja . Określanie efektywnego sposobu wyznaczania odpowiedzi na zapytania użytkowników. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 37 / 46 ych Dan nie Hurtó ojnicki, I.W Przepływ danych w Hurtowni Przepływ metadanych Przepływ Metadanych Zestaw procesów związanych z zarzadzaniem metadanymi. Opis treści danych w hurtowni: co zawierają skąd pochodzą jakie operacje zostały wykonane w trakcie oczyszczania, integracji i kumulacji. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 38 / 46 ych Dan wnie Hurt%Eł ojnicki, I.W Narzędzia i Technologie Hurtowni Danych Narzędzie do pobierania, czyszczenia i przekształcania danych Narzędzia do pobierania, czyszczenia i przekształcania danych Generatory kodu. Narzędzia replikacji danych w bazach danych. Dynamiczne mechanizmy przekształcające. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 39 / 46 ych Dan wnie Hurto ojnicki, I.W Narzędzia i Technologie Hurtowni Danych Narzędzie do pobierania, czyszczenia i przekształcania danych Generatory Kodu Za ich pomocą tworzone są programy przekształcające na podstawie danych zródłowych i docelowych 3GL, 4GL, 5GL. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 40 / 46 ych Dan wnie Hurto ojnicki, I.W Narzędzia i Technologie Hurtowni Danych Narzędzie do pobierania, czyszczenia i przekształcania danych Narzędzia replikacji danych w bazach danych Śledzenie zmian w bazie danych i przenoszenie ich do innej bazy. Wykorzystanie wyzwalaczy. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 41 / 46 ych Dan wnie Hurto ojnicki, I.W Narzędzia i Technologie Hurtowni Danych Narzędzie do pobierania, czyszczenia i przekształcania danych Dynamiczne mechanizmy przekształcające Sterowane regułami. Pobierają dane z systemów zródłowych w zdefiniowanych odstępach czasu. Przekształcają. Przesyłają do docelowego srodowiska (ODS, Hurtownia). Obsługują głównie zródła relacyjne. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 42 / 46 ych Dan wnie Hśrto ojnic1 i, I.W Narzędzia i Technologie Hurtowni Danych Metadane w Hurtowni Metadane w Hurtowni Pokazanie drogi powrotnej danych skąd sie wzięły. Opis zródła danych oraz transformacji jakie zostały na nich wykonane, np: unikalny identyfikator, oryginalna nazwa pola, typ danych zródłowych, oryginalne położenie (nazwa systemu, nazwa obiektu), docelowy typ danych, docelowa nazwa tabeli, przekształcenia dokonane na polu. Każdy obiekt w Hurtowni musi być opisany. Opisy pól wystepujących w agregacjach, opisy agregacji. Potrzebne Zarządcy Zapytań. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 43 / 46 ych Dąn wnie Hurto ojn/cki, I.W Narzędzia i Technologie Hurtowni Danych Metadane w Hurtowni Synchronizacja Metadanych Różne produkty tworzą/przechowują/uzywają różnych metadanych. Potrzeba wymiany metadanych między produktami. Standaryzacja: Common Warehouse Meta-model (CWM). Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 44 / 46 ych Dan nie Hurto ojnicki, I.W Narzędzia i Technologie Hurtowni Danych Narzędzia do administracji Narzędzia do administracji Występują rzadko. Monitorowanie wprowadzania danych z róznych zródeł. Kontrola jakości i integralności danych. Zarządzanie metadanymi i ich aktualizacja. Monitorowanie wydajności bazy danych. Kontrola wykorzystania hurtowni. Efektywne zarządanie przechowywaniem danych. Oczyszczanie danych. Archiwizacja. Odzyskiwanie danych po awarii. Zarzadzanie bezpieczeństwem. Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 45 / 46 ych Dan wni Hurto %Ełjnicki, I.W Hurtownie Danych: Podsumowanie Podsumowanie Hurtownia Danych: zorientowana podmiotowo, zintegrowana, zróżnicowana czasowo i trwała kolekcja danych przeznaczona do wspierania procesu podejmowania decyzji; technologia zarządzania danymi i ich analizy. OLTP: maksymalizacja przetwarzania transakcyjnego, hurtownie danych: zapytania ad-hoc. Składniki hurtowni danych: zródła danych operacyjnych, operacyjny magazyn danych, zarządca wprowadzania danych, zarządca hurtowni, zarządca zapytan, szczegółowe dane, skumulowane dane, dane archiwalne i kopie zapasowe, metadane, narzędzia dla użytkowników. Zródła danych: Igor Wojnicki (WSTE) Hurtownie Danych: Wstęp 17 listopada 2007 46 / 46 dane z baz danych, ych Dan wnie Hurto ojnic1 i, .W