plik


ÿþZaawansowane systemy baz danych - ZSBD Multimedialne bazy danych WykBad prowadzi: Marek Wojciechowski Multimedialne bazy danych WykBad po[wicony jest problematyce multimedialnych baz danych, ich specyfice oraz technikom wyszukiwania, skBadowania i prezentacji danych wykorzystywanym w ich kontek[cie. Podstawowym celem niniejszego wykBadu jest zapoznanie studenta z problematyk multimedialnych baz danych, ze szczególnym naciskiem na opis i wyszukiwanie tre[ci multimedialnych. Do zrozumienia tre[ci wykBadu niezbdna jest znajomo[ systemów baz danych i jzyka SQL. 1 Zaawansowane systemy baz danych - ZSBD Plan wykBadu " Wprowadzenie: multimedia, podstawowe definicje " Specyfika systemów multimedialnych baz danych " Metadane " Modele danych dla multimedialnych baz danych " MPEG-7 " Przetwarzanie zapytaD w multimedialnych bazach danych " Wyszukiwanie w oparciu o zawarto[ " SkBadowanie danych multimedialnych " Prezentacja i transmisja danych multimedialnych Multimedialne bazy danych (2) WykBad rozpocznie si od wprowadzenia do multimediów i przedstawienia podstawowych definicji. Nastpnie wskazane bd cechy i wymagania stawiane systemom multimedialnych baz danych, które odró|niaj je od tradycyjnych systemów baz danych. W kolejnej cz[ci wykBadu omówione bd metadane, ich klasyfikacja i rola w opisie zawarto[ci multimedialnej. Kolejny temat to modele danych dla multimedialnych baz danych. Nastpnie omówiony bdzie standard opisu zawarto[ci multimedialnej MPEG-7. Po nim przedstawiona bdzie problematyka przetwarzania zapytaD w multimedialnych bazach danych, ze szczególnym uwzgldnieniem wyszukiwania obrazów w oparciu o zawarto[ (ang. Content-Based Image Retrieval). Na zakoDczenie, krótko nakre[lone bd problemy skBadowania, prezentacji i transmisji danych multimedialnych, ze wskazaniem rozwizaD stosowanych w tym zakresie. 2 Zaawansowane systemy baz danych - ZSBD Multimedia  podstawowe definicje " Obiekt medialny  informacja zrozumiaBa dla komputera, zakodowana w jednym medium  media dyskretne: tekst, obraz  media cigBe: audio, wideo " Obiekt multimedialny  informacja zrozumiaBa dla komputera, zakodowana w jednym lub wicej mediów " Dane multimedialne  zbiór obiektów multimedialnych " System multimedialny  system komputerowy wspierajcy wymian informacji z u|ytkownikiem za pomoc kilku ró|nych mediów Multimedialne bazy danych (3) Obiekt medialny to informacja zrozumiaBa dla komputera, zakodowana w jednym medium. Wykorzystywane obecnie media to media wizualne i akustyczne: tekst, obrazy nieruchome, audio i wideo. Systemy wykorzystujce w komunikacji z czBowiekiem zapach, smak i dotyk s na razie przedmiotem prac badawczych i prototypowych. Z punktu widzenia prezentacji multimediów istotny jest podziaB na media dyskretne (niezmienne w czasie, statyczne), obejmujce tekst i obrazy nieruchome oraz media cigBe (zmienne w czasie, dynamiczne), obejmujce audio i wideo. Obiekt multimedialny to informacja zrozumiaBa dla komputera, zakodowana w jednym lub wicej mediów. Czsto dodawany jest jeszcze warunek, |e co najmniej jedno medium powinno by nie-alfanumeryczne. W zasadzie termin  multimedia , z racji przedrostka  multi- , powinien by u|ywany do opisu danych zakodowanych w wicej ni| jednym medium. W praktyce przyjmuje si jednak, |e obrazy czy muzyka w postaci cyfrowej równie| stanowi dane multimedialne, gdy| jest to zgodne z odczuciami u|ytkowników. Dane multimedialne mo|na najpro[ciej zdefiniowa jako zbiór obiektów multimedialnych. System multimedialny (wg Meyera-Wegenera) to system komputerowy wspierajcy wymian informacji z u|ytkownikiem za pomoc kilku ró|nych mediów. W zasadzie brak jest jednoznacznej,  ostrej , powszechnie akceptowanej definicji systemu multimedialnego. PrzykBadowo, istnieje inna definicja mówica, |e system multimedialny to system komputerowy umo|liwiajcy w sposób zintegrowany tworzenie, przetwarzanie, prezentacj i przesyBanie informacji zakodowanych w co najmniej jednym medium cigBym i jednym dyskretnym. 3 Zaawansowane systemy baz danych - ZSBD Charakterystyka typów multimediów (1/2) " Obrazy  reprezentowane jako 2-wymiarowa tablica pikseli, gdzie warto[ piksela reprezentuje jego kolor  zazwyczaj skompresowane (GIF, JPEG, PNG) " Wideo  sekwencja klatek prezentowanych w odpowiednim tempie  podzielone na segmenty (fizyczne, logiczne)  zazwyczaj skompresowane (MPEG)  zazwyczaj uzupeBnione o dane audio Multimedialne bazy danych (4) Podstawowe typy multimediów to obrazy nieruchome, dane wideo, dane audio i zBo|one obiekty multimedialne. Obrazy s reprezentowane w postaci 2-wymiarowej tablicy pikseli (ang. pixel  picture element). Warto[ przypisana danemu pikselowi reprezentuje jego kolor. PrzykBadowe liczby bitów przeznaczanych na zapamitanie koloru to 8 dla obrazów w skali odcieni szaro[ci i 24 dla obrazów kolorowych. Zazwyczaj obrazy s zapisane w postaci skompresowanej w celu redukcji ich rozmiaru. PrzykBadowe formaty to: GIF i PNG (kompresja bez utraty jako[ci) i JPEG (kompresja z utrat jako[ci, wykorzystujca wBa[ciwo[ci ludzkiego zmysBu wzroku). Dane wideo maj posta sekwencji klatek (ang. frame), gdzie ka|da klatka jest nieruchomym obrazem. Klatki musz by prezentowane w odpowiednim ustalonym tempie, np. 25 klatek na sekund. Sekwencja wideo mo|e by podzielona na segmenty. Podstawowy podziaB to podziaB na segmenty fizyczne, gdzie ka|dy segment to sekwencja klatek pochodzca z jednego ujcia kamery. Innym mo|liwym podziaBem jest podziaB na segmenty logiczne reprezentujce fragmenty wideo o konkretnym znaczeniu. Dane wideo w postaci nieskompresowanej, ze wzgldu na swój rozmiar, mog by wykorzystywane jedynie na etapie profesjonalnej obróbki. Udostpniane u|ytkownikom w postaci cyfrowej s zawsze skompresowane. Kompresja wideo wykorzystuje przestrzenn i czasow nadmiarowo[ danych. Redukcja nadmiarowo[ci przestrzennej polega na kompresji klatek metod dla obrazów statycznych (np. JPEG). Redukcja nadmiarowo[ci czasowej opiera si na reprezentacji niektórych klatek poprzez zapamitanie zmian w stosunku do klatki poprzedzajcej lub interpolacj klatki z wykorzystaniem jednej klatki poprzedzajcej i jednej nastpujcej. Podstawowe standardy kompresji wideo zostaBy opracowane przez grup MPEG (Moving Pictures Experts Group): MPEG-1 zapewniajcy jako[ porównywaln z VHS, wykorzystywany w VCD; MPEG-2 wykorzystywany w DVD i telewizji wysokiej rozdzielczo[ci HDTV; MPEG-4 wykorzystywany w dystrybucji wideo poprzez Internet. Dane wideo zazwyczaj uzupeBnione s o dane audio, tworzc zBo|ony obiekt multimedialny. 4 Zaawansowane systemy baz danych - ZSBD Charakterystyka typów multimediów (2/2) " Audio  cyfrowy zapis muzyki lub mowy  wynik próbkowania sygnaBu analogowego (PCM, MP3) lub dzwik syntezowany (MIDI) " ZBo|one dane multimedialne  filmy wideo z dzwikiem (i opcjonalnie napisami)  prezentacje multimedialne  poszczególne media zapisane niezale|nie lub razem tworzc nowy format Multimedialne bazy danych (5) Dane audio to muzyka i mowa. Mowa jest szczególnym przypadkiem danych audio, którym towarzysz inne metadane ni| muzyce i czsto równie| tekstowy zapis tre[ci. Dane audio w postaci cyfrowej mog by wynikiem próbkowania sygnaBu analogowego (np. z mikrofonu) albo by syntezowane na podstawie zapisu podobnego do nutowego. Dane bdce wynikiem próbkowania mog by zapisane w postaci nieskompresowanej (format PCM) lub skompresowanej (np. MP3  kompresja z utrat jako[ci, wykorzystujca wBa[ciwo[ci ludzkiego zmysBu sBuchu). Najpopularniejszym formatem dla dzwiku syntezowanego jest MIDI. Oprócz samodzielnych obrazów, audio i wideo, w praktyce czsto wystpuj dane rzeczywi[cie multimedialne, czyli zakodowane w kilku ró|nych mediach. Typowym przykBadem s filmy, w których sekwencji wideo towarzyszy zsynchronizowana z ni [cie|ka dzwikowa, a opcjonalnie te| napisy (ang. subtitles). Innym przykBadem danych integrujcych wiele mediów s prezentacje multimedialne, gdzie tekstowo-obrazkowym slajdom towarzyszy dzwik z komentarzem i opcjonalnie animacje. W przypadku zBo|onych obiektów multimedialnych, skBadajce si na nie media mog by skBadowane niezale|nie lub razem, tworzc nowy format. PrzykBadem zBo|onego formatu jest choby powszechnie znany format AVI, w którym przeplecione ze sob s niezale|nie kompresowane wideo i audio. 5 Zaawansowane systemy baz danych - ZSBD Przyczyny gwaBtownego rozwoju systemów multimedialnych " Rzeczywisto[ postrzegana przez czBowieka ma charakter multimedialny " Dostpno[ mocy obliczeniowej " Dostpno[ urzdzeD do skBadowania danych o du|ej pojemno[ci " Szybkie sieci komputerowe " Efektywne standardy kodowania i transmisji " Rozwój technologii mobilnych Multimedialne bazy danych (6) Podstawow motywacj dla systemów multimedialnych jest niepodwa|alny fakt, |e rzeczywisto[ postrzegana przez czBowieka ma charakter multimedialny. Na obraz rzeczywisto[ci skBadaj si informacje przekazane za pomoc wielu mediów, odbieranych za pomoc zmysBów (obraz, dzwik, smak, zapach, dotyk). Zadaniem multimedialnych systemów informatycznych jest imitacja otaczajcej czBowieka rzeczywisto[ci i sposobu jej postrzegania. Jednak|e dopiero od niedawna istniej warunki do tworzenia systemów multimedialnych powszechnego u|ytku ze wzgldu na: (a) dostpno[ tanich stacji roboczych zdolnych do przetwarzania danych multimedialnych (wydajne procesory i sprztowe kodery/dekodery); (b) dostpno[ tanich urzdzeD i no[ników do skBadowania danych o du|ej pojemno[ci; (c) dostp do szybkich sieci komputerowych (wzrost prdko[ci transmisji, rozwój infrastruktury, spadek cen no[ników np. [wiatBowodów, szybkie technologie transmisji danych np. ATM); (d) opracowanie efektywnych standardów kodowania i transmisji danych; (e) rozwój technologii mobilnych (telefony komórkowe umo|liwiajce odbiór zawarto[ci multimedialnej, PDA, przewidywane nadej[cie UMTS). 6 Zaawansowane systemy baz danych - ZSBD Zastosowania systemów multimedialnych " Wideo na |danie " Muzyczne bazy danych " Bazy danych z obrazami (nauka, sztuka, medycyna) " Edukacja " Walka z przestpczo[ci i terroryzmem Multimedialne bazy danych (7) PrzykBadowe zastosowania systemów multimedialnych to: (a) wideo na |danie (ang. video on demand); (b) muzyczne bazy danych; (c) bazy danych z obrazami, przykBadowo: kolekcje zdj rentgenowskich do wspierania diagnostyki medycznej, kolekcje fotografii dzieB malarskich, wirtualne galerie, itp.; (d) edukacja: interaktywne kursy multimedialne, zdalne nauczanie, instrukcje obsBugi, itp.; (e) walka z przestpczo[ci i terroryzmem: multimedialne bazy danych o przestpcach i terrorystach wykorzystane w poBczeniu z infrastruktur do monitoringu i technikami rozpoznawania obrazu, w tym ludzkich twarzy. W wikszo[ci zastosowaD systemów multimedialnych mamy do czynienia z du| kolekcj danych multimedialnych, które musz by w sposób efektywny skBadowane, przeszukiwane i udostpniane. Stanowi to motywacj dla wa|nej klasy systemów multimedialnych  systemów multimedialnych baz danych. 7 Zaawansowane systemy baz danych - ZSBD Systemy multimedialnych baz danych SMBD = SZMBD + MBD " SMBD  System multimedialnej bazy danych " SZMBD  System zarzdzania multimedialn baz danych  wysoce wydajny SZBD  obsBugujcy dane alfanumeryczne i multimedialne " MBD  Multimedialna baza danych  baza danych o du|ej pojemno[ci  zawierajca dane multimedialne " SMBD a bazy danych z multimedialn zawarto[ci Multimedialne bazy danych (8) System multimedialnej bazy danych (SMBD) skBada si z bazy danych o du|ej pojemno[ci (MBD) z zawarto[ci multimedialn i wysoce wydajnego systemu zarzdzania baz danych (SZBD), który wspiera i obsBuguje obok alfanumerycznych typów danych równie| dane multimedialne w zakresie ich skBadowania, wyszukiwania i przetwarzania zapytaD. Nale|y zwróci uwag, |e systemy oparte o baz danych z multimedialn zawarto[ci, nierealizujce funkcjonalno[ci SZBD i wyszukiwania w oparciu o zawarto[ nie stanowi jeszcze systemów multimedialnych baz danych. PrzykBady baz danych z multimedialn zawarto[ci to: (a) pByty CD-ROM z multimediami, (b) katalogi obrazków z ikonkami prowadzcymi do obrazów w wikszej rozdzielczo[ci, (c) systemy video on demand z wyszukiwaniem wg typowych sBów kluczowych (tytuB, obsada, itp.), (d) systemy zarzdzania du|ymi zbiorami zBo|onych dokumentów. 8 Zaawansowane systemy baz danych - ZSBD Systemy zarzdzania multimedialn baz danych (SZMBD) " SZMBD =  SZBD  architektury do efektywnego skBadowania du|ych wolumenów danych multimedialnych  techniki information retrieval (IR)  wyszukiwanie w oparciu o zawarto[ " SZMBD integruje wiele technologii " Podzbiorem funkcjonalno[ci SZMBD jest funkcjonalno[ tradycyjnego SZBD Multimedialne bazy danych (9) System zarzdzania multimedialn baz danych (SZMBD) to wysoce wydajny system zarzdzania baz danych (SZBD), wykorzystujcy architektury do efektywnego skBadowania du|ych wolumenów danych multimedialnych oraz techniki Information Retrieval (IR) do wyszukiwania w oparciu o zawarto[. Systemy zarzdzania multimedialnymi bazami danych integruj wiele technologii, w tym: bazy danych, Information Retrieval i przetwarzanie sygnaBów. Podzbiorem ich funkcjonalno[ci jest funkcjonalno[ tradycyjnych SZBD. W szczególno[ci, system zarzdzania multimedialn baz danych, tak jak ka|dy system zarzdzania baz danych powinien oferowa: (a) przetwarzanie transakcyjne, (b) zarzdzanie wspóBbie|no[ci, (c) odtwarzanie po awarii, (d) wersjonowanie danych, (e) ochron zawarto[ci bazy danych przed nieuprawnionymi u|ytkownikami i niedozwolonymi operacjami. 9 Zaawansowane systemy baz danych - ZSBD Specyfika systemów multimedialnych baz danych " Du|y rozmiar danych " ZBo|one struktury danych " Zaawansowane przetwarzanie danych " Zapytania ró|nice si od tradycyjnych " Problemy prezentacji danych Multimedialne bazy danych (10) WBa[ciwo[ci, które sprawiaj, |e implementacja systemów zarzdzania multimedialn baz danych wymaga nowych rozwizaD znanych w systemach baz danych problemów to: (a) du|y rozmiar danych - PrzykBadowo, pojedynczy film wideo mo|e zajmowa kilka gigabajtów. Dlatego te| systemy zarzdzania multimedialn baz danych oprócz skBadowania danych multimedialnych wewntrz bazy danych w postaci du|ych obiektów binarnych (ang. binary large object) musz pozwala na skBadowanie danych poza baz danych (np. w systemie plików serwera, na serwerze WWW, na dedykowanych serwerach audio/wideo przygotowanych do transmisji strumieniowej). Du|y rozmiar danych mo|e te| skBania do wykorzystania hierarchicznych struktur skBadowania oraz specjalnych organizacji danych na urzdzeniach pamici masowej. (b) zBo|one struktury danych - Dane multimedialne s w praktyce uzupeBnione opisem formatu i zawarto[ci. Dla umo|liwienia [cisBego wizania metadanych z danymi multimedialnymi bardziej odpowiedni ni| "czysty" model relacyjny jest obiektowy lub obiektowo-relacyjny model danych. (c) zaawansowane przetwarzanie danych - Systemy zarzdzania multimedialn baz danych powinny realizowa takie operacje jak np. konwersja formatu, skalowanie i inne transformacje obrazów. Dla wygody u|ytkowników i bezpieczeDstwa danych wa|ne jest, aby realizacja tego typu operacji nie wymagaBa wydobycia danych z bazy danych i wykorzystania do ich obróbki innego oprogramowania. 10 Zaawansowane systemy baz danych - ZSBD Specyfika systemów multimedialnych baz danych (cd.) " Du|y rozmiar danych " ZBo|one struktury danych " Zaawansowane przetwarzanie danych " Zapytania ró|nice si od tradycyjnych " Problemy prezentacji danych Multimedialne bazy danych (11) (d) zapytania ró|nice si od tradycyjnych - Charakterystyczne dla multimedialnych baz danych jest wyszukiwanie oparte o zawarto[, rozumiane jako wyszukiwanie, którego kryteria nie odnosz si do zapisu danych w bazie danych, ale do wBa[ciwo[ci wizualnych lub akustycznych, które musz by wyekstrahowane z obiektu multimedialnego. Kryteria wyszukiwania w oparciu o zawarto[ najcz[ciej s specyfikowane poprzez podanie przykBadu. Charakterystyczne dla wyszukiwania obiektów podobnych s: mo|liwo[ przypisywania wag poszczególnym wBa[ciwo[ciom oraz tolerowanie przybli|onych lub niekompletnych wyników. (e) problemy prezentacji danych - Problem ten dotyczy danych wra|liwych na opóznienia, czyli sekwencji audio i wideo. Wystpuje w zwizku z du|ym rozmiarem danych, ograniczon przepustowo[ci serwera i kanaBów transmisyjnych oraz ograniczonym buforem danych klienta. W szczególno[ci dane wideo powinny by prezentowane w oparciu o transmisje strumieniow. Serwer musi by wic przygotowany do strumieniowej transmisji danych, ze wspóBbie|n obsBug wielu klientów z zachowaniem odpowiedniej jako[ci usBug. 11 Zaawansowane systemy baz danych - ZSBD Systemy rozproszonych multimedialnych baz danych " Motywacje:  wymagania pamici i przepustowo[ci sieci  czsto naturalne rozproszenie " Zalety systemów rozproszonych:  efektywno[ systemu (moc obliczeniowa, wiksze pojemno[ci, zrównoleglenie pracy)  krótsza [cie|ka od serwera do u|ytkownika " Klasyczne problemy rozproszonych baz danych Multimedialne bazy danych (12) W kontek[cie systemów multimedialnych (w tym multimedialnych baz danych) czsto rozwa|a si architektury rozproszone. S dwie gBówne motywacje dla multimedialnych systemów rozproszonych. Po pierwsze, systemy scentralizowane wymagaj olbrzymich pamici masowych do skBadowania danych i du|ych przepustowo[ci sieci do ich przesyBania. Szczególnie dla baz danych wideo mo|e si okaza, |e scentralizowany system udostpniania filmów wideo przy aktualnym stanie technologii i dostpnej infrastruktury dla konkretnego planowanego obci|enia nie bdzie mógB zapewni odpowiedniej jako[ci usBug. Po drugie, czsto dane multimedialne stanowice multimedialn baz danych s naturalnie rozproszone np. gdy poszczególne typy multimediów (audio, wideo, obrazy) s skBadowane na serwerach dedykowanych do udostpniania konkretnego typu danych. Zaleta systemów rozproszonych to mo|liwo[ zwikszania efektywno[ci i pojemno[ci systemu poprzez dodawanie nowych wzBów. Pozwala to zrównolegli prac i rozBo|y obci|enie sieci. Ponadto, w poBczeniu z odpowiednim rozmieszczeniem i replikacj danych na poszczególnych wzBach systemu mo|na skróci [cie|k midzy serwerem a u|ytkownikiem. Systemy rozproszonych multimedialnych baz danych wymagaj jednak rozwizywania problemów znanych z klasycznych systemów rozproszonych baz danych takich jak: (a) wybór sposobu rozproszenia (alokacji) danych miedzy serwery, (b) wybór danych, które maja by replikowane, (c) integracja danych z ró|nych serwerów przy przetwarzaniu zapytaD, (d) zarzdzanie rozproszonymi transakcjami, (e) pielgnacja rozproszonych metadanych. 12 Zaawansowane systemy baz danych - ZSBD Metadane " Metadane sygnaBowe  wyodrbnione wBa[ciwo[ci sygnaBu stanowicego zapis zawarto[ci multimedialnej " Metadane semantyczne  informacje o obiektach, postaciach, zdarzeniach, itp. reprezentowanych przez tre[ci multimedialne " Metadane zewntrzne  informacje nieodnoszce si bezpo[rednio do zawarto[ci medium, tylko do sposobu jego tworzenia, przechowywania, udostpniania, klasyfikacji Multimedialne bazy danych (13) Metadane to  dane o danych . Metadane maj szczególne znaczenie w opisie i wyszukiwaniu danych multimedialnych. Zale|nie od ich charakteru, niektóre metadane mog by automatycznie wyekstrahowane z zawarto[ci binarnej, a niektóre musz by wprowadzone przez czBowieka i towarzyszy zawarto[ci multimedialnej. Ze wzgldu na charakter metadanych mo|na pokusi si o ich nastpujc klasyfikacj: Metadane sygnaBowe to wyodrbnione wBa[ciwo[ci sygnaBu stanowicego zapis zawarto[ci multimedialnej. Mog by stosunkowo Batwo wygenerowane automatycznie w oparciu o specjalne algorytmy. PrzykBady metadanych sygnaBowych to: histogram kolorów czy tekstura dla obrazów, dynamika ruchu dla sekwencji wideo, melodia dla sekwencji audio. Metadane semantyczne to metadane opisujce znaczenie danych, czyli zawierajce informacje o obiektach, postaciach, zdarzeniach, itp. reprezentowanych przez tre[ci multimedialne. Metadane semantyczne s trudne bdz niemo|liwe do w peBni automatycznego uzyskania. Powstaj one w wyniku tworzenia adnotacji przez czBowieka, który mo|e by wspomagany przez narzdzia dokonujce automatycznej segmentacji obrazu, podziaBu sekwencji wideo na ujcia itp. Metadane zewntrzne to informacje nieodnoszce si bezpo[rednio do zawarto[ci medium, tylko do sposobu jego tworzenia, przechowywania, udostpniania, czy klasyfikacji. PrzykBady metadanych zewntrznych to re|yser filmu, nazwa pliku zródBowego, typ kompresji pliku, tytuB zdjcia, czas i miejsce wykonania zdjcia. 13 Zaawansowane systemy baz danych - ZSBD Rodzaje metadanych - PrzykBad Metadane zewntrzne: Autor: Claude Monet TytuB: Maki w pobli|u Argenteuil Styl: impresjonizm Format: jpeg Rozmiar: 640 x 480 Metadane sygnaBowe: Metadane semantyczne: Bka peBna maków na dole z prawej kobieta z parasolk i dziecko Multimedialne bazy danych (14) Slajd przedstawia przykBady poszczególnych rodzajów metadanych dla fotografii dzieBa malarskiego w postaci cyfrowej. Metadane sygnaBowe w tym wypadku to histogram reprezentujcy udziaB kolorów w obrazie i macierz pokazujca dominujce kolory w poszczególnych regionach obrazu. Metadane semantyczne obejmuj ogólny opis zawarto[ci ( Bka peBna maków ) oraz opis najwa|niejszych obiektów wraz z ich poBo|eniem ( na dole z prawej kobieta z parasolk i dziecko ). Metadane zewntrzne to informacje o autorze, tytule i stylu dzieBa oraz informacje o cyfrowej reprezentacji tj. format graficzny i rozmiar w pikselach. 14 Zaawansowane systemy baz danych - ZSBD Modele danych dla multimedialnych baz danych " Model relacyjny  nieodpowiedni  problemy z reprezentacj zBo|onych metadanych i wizaniem ich z zawarto[ci binarn " Model obiektowy  odpowiedni, elastyczny, ale nie odniósB sukcesu " Model obiektowo-relacyjny  odpowiedni, praktyczny kompromis " Model semistrukturalny (XML)  odpowiedni do reprezentacji metadanych Multimedialne bazy danych (15) Modele danych wykorzystywane w dzisiejszych systemach baz danych to model relacyjny, model obiektowy, model obiektowo-relacyjny i model semistrukturalny. Model relacyjny to model, w którym struktury danych maj posta zbioru wzajemnie ze sob powizanych relacji (tabel). Czysty model relacyjny nie przewidywaB obsBugi danych binarnych. Obecne systemy relacyjne obok alfanumerycznych typów danych, oferuj równie| typ BLOB (Binary Large OBject), umo|liwiajcy skBadowanie du|ych obiektów binarnych w komórce tabeli. Mimo tego, model relacyjny nie jest odpowiedni do reprezentacji danych multimedialnych, gdy| oferowana przez niego organizacja danych nie pozwala na reprezentacj zBo|onych metadanych semantycznych. Nie jest mo|liwe równie| [cisBe wizanie metadanych z zawarto[ci binarn. Model obiektowy stanowi odpowiedz na ubóstwo modelu relacyjnego. Umo|liwia modelowanie zBo|onych struktur i obiektów oraz wi|e dane z operacjami na nich. Model ten jest potencjalnie atrakcyjny dla multimediów: obiekt multimedialny mo|e by reprezentowany poprzez obiekt w bazie danych, którego jednym z atrybutów jest zawarto[ binarna, a pozostaBe reprezentuj wszelkiego rodzaju metadane. Problemem modelu obiektowego jest to, |e nie odniósB du|ego sukcesu gdy| mimo 20 lat rozwoju cigle nie zaproponowano satysfakcjonujcych rozwizaD problemów: wspóBbie|nego dostpu, optymalizacji zapytaD, odtwarzania po awarii, itp. 15 Zaawansowane systemy baz danych - ZSBD Modele danych dla multimedialnych baz danych (cd.) " Model relacyjny  nieodpowiedni  problemy z reprezentacj zBo|onych metadanych i wizaniem ich z zawarto[ci binarn " Model obiektowy  odpowiedni, elastyczny, ale nie odniósB sukcesu " Model obiektowo-relacyjny  odpowiedni, praktyczny kompromis " Model semistrukturalny (XML)  odpowiedni do reprezentacji metadanych Multimedialne bazy danych (16) Model obiektowo-relacyjny to odpowiedz  [wiata relacyjnego na model obiektowy. DoczekaB si standaryzacji wraz z wersj standardu SQL99. Jest to model relacyjny uzupeBniony o: zBo|one typy danych, dziedziczenie, kolekcje, referencje do obiektów, itp. Model obiektowo-relacyjny jest powszechnie implementowany gdy| wikszo[ systemów relacyjnych przeszBa ewolucj stajc si systemami obiektowo-relacyjnymi. Model ten jest odpowiedni dla multimedialnych baz danych i staB si podstaw dla standardu SQL/MM, standaryzujcego sposób reprezentacji i przetwarzania zaawansowanych rodzajów danych (w tym multimediów) w bazach danych. Model semistrukturalny umo|liwia reprezentacj danych posiadajcych pewn struktur, ale niekoniecznie na tyle okre[lon, aby odpowiedni dla nich byB model relacyjny lub obiektowy. Podstawowym formatem reprezentacji danych semistrukturalnych jest obecnie XML. W kontek[cie multimedialnych baz danych, XML jest atrakcyjnym formatem zapisu metadanych. Mo|e by wic wykorzystany w multimedialnych bazach danych w poBczeniu z modelem relacyjnym, obiektowym lub obiektowo-relacyjnym. Format XML staB si podstaw dla standardu reprezentacji metadanych o danych multimedialnych MPEG-7. 16 Zaawansowane systemy baz danych - ZSBD Modele danych dla multimedialnych baz danych  Stan aktualny " Systemy komercyjne (Oracle, IBM DB2):  wykorzystanie rozszerzeD obiektowo-relacyjnych  rozwizania firmowe dla metadanych sygnaBowych  prawie brak wsparcia dla metadanych semantycznych " Standardy:  SQL/MM  model obiektowo-relacyjny; brak wsparcia dla metadanych semantycznych  MPEG-7  reprezentacja wszystkich typów metadanych w postaci XML; na razie sBabe wsparcie przez systemy zarzdzania baz danych Multimedialne bazy danych (17) Wiodce systemy zarzdzania bazami danych ogólnego przeznaczenia (Oracle i IBM DB2) obsBuguj dane multimedialne w oparciu o mechanizmy obiektowo-relacyjne, a przede wszystkim mechanizm definiowania zBo|onych typów danych. Reprezentacja i ekstrakcja metadanych sygnaBowych oraz wyszukiwanie w oparciu o zawarto[ s realizowane tylko dla obrazów, w oparciu o rozwizania firmowe, przy czym Oracle jako alternatyw dla swoich rozwizaD oferuje interfejs zgodny ze standardem SQL/MM. {aden z systemów zarzdzania baz danych ogólnego przeznaczenia nie wspiera w szczególny sposób reprezentacji metadanych semantycznych. Ogólne wsparcie sprowadza si do mo|liwo[ci definiowania zBo|onych struktur obiektowych i wsparcia dla XML. Metadane zewntrzne nie stanowi problemu dla istniejcych systemów zarzdzania bazami danych, gdy| jako proste dane alfanumeryczne mog by reprezentowane w strukturach relacyjnych i obiektowo- relacyjnych. Obowizujce standardy dla multimedialnych baz danych to SQL/MM i MPEG-7, rozwijane niezale|nie przez dwa ró|ne [rodowiska. SQL/MM jest oparty o model obiektowo-relacyjny i uzupeBnia SQL o typy danych do reprezentacji zaawansowanych rodzajów danych. Z multimediów w tej chwili obejmuje jedynie obrazy, przewidujc dla nich ograniczony zestaw metadanych zewntrznych, podstawowe metadane sygnaBowe i wyszukiwanie w oparciu o zawarto[ z ich uwzgldnieniem. Standard SQL/MM nie porusza kwestii metadanych semantycznych. MPEG-7 standaryzuje sposób reprezentacji wszelkiego rodzaju metadanych o wszelkiego typu danych multimedialnych i jest oparty o XML. Nie standaryzuje metod ekstrakcji i wykorzystywania metadanych. Na razie MPEG-7 jest sBabo wspierany w systemach zarzdzania baz danych. Wsparcie dla opisów MPEG-7 nie wykracza w nich poza ogólne wsparcie dla XML. 17 Zaawansowane systemy baz danych - ZSBD MPEG-7 " MPEG-7 = Multimedia Content Description Interface " Standard normujcy opisy zawarto[ci multimedialnej Generacja Konsumpcja Opis opisu opisu " Adresatami opisu maj by ludzie lub programy komputerowe " Przewidywane zastosowania:  wyszukiwanie w multimedialnych bazach danych  filtracja tre[ci multimedialnych Multimedialne bazy danych (18) W przeciwieDstwie do standardów MPEG-1, MPEG-2 i MPEG-4 dotyczcych reprezentacji (sposobu kodowania) zawarto[ci obiektów multimedialnych, standard MPEG-7 (Multimedia Content Description Interface) dotyczy opisu zawarto[ci multimedialnej. Standard MPEG-7 normuje jedynie sam form opisu, nie standaryzujc technik generacji i konsumpcji opisów. Przyczyny wyBczenia generacji opisów, ekstrakcji wBa[ciwo[ci oraz metod wykorzystywania opisów z zakresu standardu byBy nastpujce: (a) mechanizmy te maj stanowi obszar swobodnej konkurencji, sprzyjajcej rozwojowi technologicznemu; (b) standaryzacja algorytmów nie jest konieczna dla mo|liwo[ci wspóBdziaBania ró|nych systemów; (c) charakter i funkcjonalno[ wyszukiwarek zwykle zale|y od zastosowania, a format MPEG- 7 ma z zaBo|enia by niezale|ny od zastosowaD. ZakBada si, |e odbiorcami opisów MPEG-7 bd zarówno ludzie jak i programy komputerowe oraz inteligentne urzdzenia elektroniczne. Opisy MPEG-7 powinny towarzyszy danym multimedialnym skBadowanym w bazach danych, ale równie| udostpnianym przez radio, telewizj, media. Przewidywane zastosowania MPEG-7 to: (a) wyszukiwanie informacji w multimedialnych bazach danych; (b) filtracja tre[ci multimedialnych odbieranych za pomoc telewizji, radia itp. w oparciu o opisy MPEG-7 przesyBane wraz z zawarto[ci i ustawienia preferencji u|ytkownika. 18 Zaawansowane systemy baz danych - ZSBD ZaBo|enia standardu MPEG-7 " Standaryzacja opisu metadanych " Niezale|no[ od sposobu kodowania medium " Elastyczno[ " Rozszerzalno[ " Oparcie o jzyk XML  jzyk definicji skBadni (DDL) oparty o XML Schema " Binarny format BiM do kompresji i transmisji opisów Multimedialne bazy danych (19) Podstawowym zaBo|eniem przy[wiecajcym twórcom standardu MPEG-7 byBa standaryzacja opisu metadanych. Wcze[niej pojawiaBo si wiele niezgodnych ze sob propozycji formatów opisów multimediów, MPEG-7 korzysta z ich do[wiadczeD i normuje format opisu jako powszechnie uznany i oficjalny standard. MPEG-7 jest caBkowicie niezale|ny od sposobu kodowania i przechowywania medium i mo|e dotyczy np. obrazów narysowanych na papierze. Je[li jednak dany format kodowania mo|e zawiera informacje o strukturalnej dekompozycji obiektu multimedialnego (jak np. MPEG- 4), informacje te mog by wykorzystane przy tworzeniu opisów MPEG-7. MPEG-7 jest standardem elastycznym i rozszerzalnym. Jako efekt analizy szerokiego spektrum potencjalnych zastosowaD, MPEG-7 jest formatem ogólnego przeznaczenia. Jednocze[nie daje on mo|liwo[ rozszerzenia skBadni jzyka metadanych o elementy przydatne w specyficznych zastosowaniach. MPEG-7 jest oparty o jzyk XML. Wybór formatu do tekstowych opisów byB w zasadzie oczywisty, biorc pod uwag elastyczno[, prostot i pozycj na rynku jzyka XML. Dziki temu, |e twórcy MPEG-7 postanowili nie opracowywa od podstaw nowego formatu, ale oparli si o XML, automatycznie dostpnych jest szereg narzdzi do parsowania i przeszukiwania opisów. Jzyk definicji skBadni opisów MPEG-7 (Description Definition Language - DDL) zostaB zdefiniowany w oparciu o XML Schema, który jest silnym narzdziem opisu struktury (gramatyki) dokumentów XML. Mimo niekwestionowanych zalet XML, ma on te| pewne wady. XML jest nieodpowiedni dla transmisji strumieniowej, choby ze wzgldu na nieoszczdny sposób reprezentacji informacji. Dlatego te|, w ramach standardu MPEG-7 z my[l o transmisji (szczególnie strumieniowej) opisów opracowany zostaB binarny format opisów MPEG-7 o nazwie BiM. BiM umo|liwia bardzo dobr kompresj opisów XML-owych z zachowaniem pewnych mo|liwo[ci nawigacji po strukturze opisu na poziomie binarnym. 19 Zaawansowane systemy baz danych - ZSBD Zawarto[ opisów MPEG-7 " Zbudowane z deskryptorów i schematów opisu " Dekompozycja przestrzenna i czasowa  segmenty, regiony " Opisy znaczenia zawarto[ci (metadane semantyczne)  opisy zdarzeD, osób, obiektów, czynno[ci " Niskopoziomowe opisy zawarto[ci (metadane sygnaBowe)  ksztaBt, tekstura, kolor, lokalizacja, trajektoria ruchu, melodia " Informacje uzupeBniajce (metadane zewntrzne)  forma, dostpno[ materiaBu, klasyfikacja, kontekst Multimedialne bazy danych (20) Od strony technicznej opisy MPEG-7 s tworzone za pomoc deskryptorów (reprezentujcych poszczególne wBa[ciwo[ci obiektów multimedialnych) i schematów opisu (specyfikujcych struktur i semantyk zwizków midzy elementami opisu tj. deskryptorami i innymi schematami opisu). Tre[ dokumentów MPEG-7 oprócz ogólnego opisu caBego obiektu multimedialnego, zawiera typowo opisy poszczególnych elementów skBadowych obiektu, wyodrbnionych w drodze dekompozycji przestrzennej i/lub czasowej. PrzykBadem dekompozycji czasowej jest podziaB sekwencji wideo na segmenty. Z kolei dekompozycja przestrzenna mo|e dotyczy samodzielnych obrazów nieruchomych lub klatek filmu wideo i polega na wskazaniu na obrazie regionów zawierajcych interesujce obiekty. Opisy MPEG-7 mog obejmowa wszystkie rodzaje metadanych. Za pomoc MPEG-7 mo|na opisa semantyk obiektu i jego elementów (opisy zdarzeD, osób, obiektów, czynno[ci) oraz wBasno[ci niskopoziomowe (zale|nie od typu danych: ksztaBt, rozmiar, tekstura, kolor, lokalizacja, trajektoria ruchu, tempo, melodia). Opisy typowo obejmuj równie| informacje uzupeBniajce na temat formy (format, rozmiar, rozdzielczo[), dostpno[ci materiaBu (cena, ochrona praw autorskich), klasyfikacji tre[ci (kategoria tematyczna, kategoria wiekowa odbiorców) i kontekstu (czas i miejsce nagrania, wydarzenie). 20 Zaawansowane systemy baz danych - ZSBD MPEG-7  PrzykBad <Mpeg7 ...> <Description xsi:type="ContentEntityType"> <MultimediaContent xsi:type="ImageType"> 1 <Image id="a102"> <MediaLocator><MediaUri>kuszczak.jpg</MediaUri></MediaLocator> <TextAnnotation><FreeTextAnnotation> Polska - Kolumbia (1:2). Polski bramkarz Tomasz 2 Kuszczak wpuszcza gola na 0:2 po strzale bramkarza Kolumbii. </FreeTextAnnotation></TextAnnotation> <SpatialDecomposition> 3 <StillRegion> <TextAnnotation><FreeTextAnnotation> Polski bramkarz Tomasz Kuszczak w wyskoku 4 my[li |e piBka przechodzi nad poprzeczk. </FreeTextAnnotation></TextAnnotation> <SpatialLocator> 5 <Polygon><Coords dim="2 4"> 45 20 0 -20 25 0 60 0 </Coords></Polygon> </SpatialLocator> </StillRegion> ... </Mpeg7> Multimedialne bazy danych (21) Na slajdzie pokazano przykBad opisu MPEG-7 dla obrazka przedstawiajcego scen z meczu piBki no|nej. (Aby przykBad zmie[ciB si na slajdzie niektóre fragmenty zostaBy zastpione wielokropkiem.). Znaczenie oznaczonych fragmentów dokumentu jest nastpujce: 1. Informacja o tym, |e opisywany obiekt multimedialny jest obrazem. Nastpnie pocztek elementu z opisem obrazu, a w nim jako pierwszy, element zawierajcy informacj o zródle (lokalizacji) obrazu. 2. Ogólny opis tre[ci obrazu w formie adnotacji swobodnym tekstem. 3. Dekompozycja przestrzenna obrazu, umo|liwiajca szczegóBowy opis poszczególnych jego regionów. W tym wypadku wyró|niony i opisany jest jeden region (zaznaczony na obrazku |óBtym obramowaniem). 4. Opis zawarto[ci regionu obrazu w formie adnotacji swobodnym tekstem. 5. Informacje o lokalizacji opisywanego regionu na obrazie. W tym wypadku jest on zdefiniowany jako wielokt o czterech wierzchoBkach. Pierwsze cztery liczby opisuj wspóBrzdne X wierzchoBków, a kolejne cztery  wspóBrzdne Y. WspóBrzdne pierwszego wierzchoBka s okre[lone w sposób bezwzgldny, pozostaBych  inkrementalnie wzgldem poprzedzajcego wierzchoBka. 21 Zaawansowane systemy baz danych - ZSBD Zapytania do multimedialnych baz danych " Zapytania o zawarto[ i metadane j opisujce  mechanizm content-based retrieval " Du|a rola interfejsów wizualnych " Podej[cie Information Retrieval (IR):  wagi przypisywane kryteriom selekcji  wyszukiwanie jako proces iteracyjny  tolerancja dla niekompletnych wyników Multimedialne bazy danych (22) Zapytania do multimedialnych baz danych odwoBuj si do metadanych zewntrznych opisujcych obiekty multimedialne i do rzeczywistej ich zawarto[ci, reprezentowanej przez metadane semantyczne i sygnaBowe. Kluczowe znaczenie maj algorytmy wyszukiwania w oparciu o zawarto[ (ang. content-based retrieval) operujce na metadanych sygnaBowych. Wa|n rol w przeszukiwaniu multimedialnych baz danych peBni interfejsy wizualne, za pomoc których zapytania tekstowe s uzupeBnione lub zastpione przez wybranie, dostarczenie lub naszkicowanie wzorca do przeszukiwania kolekcji danych. Charakterystyczne dla zapytaD do multimedialnych baz danych jest podej[cie w stylu Information Retrieval (IR). Po pierwsze, u|ytkownik powinien mie mo|liwo[ przypisywania wag poszczególnym kryteriom selekcji np. odwoBujcym si do koloru i tekstury. Po drugie, zakBada si, |e wyszukiwanie ma charakter procesu iteracyjnego, w którym u|ytkownik modyfikuje parametry zapytania a| do uzyskania satysfakcjonujcego rezultatu. Jest to uzasadnione, gdy| np. przy wyszukiwaniu obiektów podobnych do zadanego, trudno jest za pierwszym razem dobra odpowiednie wagi i próg dla miary podobieDstwa. Po trzecie, tolerowane s niekompletne wyniki, w których nie znalazBy si niektóre obiekty speBniajce zadane kryteria, a by mo|e pojawiBy si obiekty tych kryteriów nie speBniajce. Takie podej[cie jest znaczco odmienne od klasycznych zapytaD do baz danych, ale w sytuacji gdy zapytania odwoBuj si niekiedy do subiektywnego odczucia podobieDstwa, trudno o obiektywn kompletno[ wyników wyszukiwania. 22 Zaawansowane systemy baz danych - ZSBD Wyszukiwanie w oparciu o zawarto[ " Wyszukiwanie w oparciu o automatycznie wyekstrahowane metadane sygnaBowe " Technologia najlepiej dopracowana dla obrazów " Alternatywa lub uzupeBnienie (!) dla wyszukiwania w oparciu o alfanumeryczne opisy wprowadzone  rcznie " Zaleta: opis sBowny czasochBonny i czsto trudny " Wiele praktycznych zastosowaD  wyszukiwanie poprzez podanie przykBadu  wykrywanie plagiatów Multimedialne bazy danych (23) Wyszukiwanie w oparciu o zawarto[ (ang. content-based retrieval) polega na wyszukiwaniu w oparciu o automatycznie wyekstrahowane metadane sygnaBowe. S to metadane reprezentujce takie wBa[ciwo[ci jak: (a) dla obrazów: [redni kolor, udziaB i lokalizacja kolorów, tekstura; (b) dla danych audio: melodia, rytm; (c) dla danych wideo: dynamika ruchu, wBa[ciwo[ci obrazów stanowicych klatki filmu. Wyszukiwanie w oparciu o zawarto[ jest najlepiej dopracowane dla obrazów. Tylko dla obrazów jest ono przedmiotem standardu SQL/MM. Podobnie, tylko w zakresie przeszukiwania kolekcji obrazów ten mechanizm wspieraj dostpne obecnie (wiosna 2006) systemy zarzdzania baz danych ogólnego przeznaczenia (Oracle, IBM DB2 i Informix). Wyszukiwanie w oparciu o zawarto[ mo|e stanowi alternatyw lub uzupeBnienie dla wyszukiwania w oparciu o alfanumeryczne opisy wprowadzone  rcznie . Zalet wyszukiwania w oparciu o zawarto[ jest to, |e tworzenie alfanumerycznych opisów zawarto[ci danych multimedialnych jest czasochBonne, a na razie nie mo|e by wykonane bez udziaBu czBowieka. Ponadto, nie wszystkie wBa[ciwo[ci mo|na w sposób naturalny opisa sBownie, np. tekstury i ksztaBty na obrazach. Wyszukiwanie w oparciu o zawarto[ ma szereg zastosowaD. Przede wszystkim s to wszelkie interfejsy do zapytaD poprzez przykBad, a z zastosowaD[ci[le praktycznych - wykrywanie plagiatów utworów muzycznych, zastrze|onych znaków towarowych, itp. 23 Zaawansowane systemy baz danych - ZSBD PrzykBady zapytaD " OdwoBujce si do metadanych zewntrznych:  utwory wykonawcy X dostpne w formacie MP3  komedie re|ysera X o czasie trwania poni|ej 1,5h " OdwoBujce si do znaczenia (metadane semantyczne):  przemówienia na temat bezrobocia  fotografie przedstawiajce prezydenta z premierem " OdwoBujce si do zawarto[ci (metadane sygnaBowe):  obrazy/utwory podobne do narysowanego/zanuconego  filmy z aktorem przedstawionym na zdjciu  obrazy, w których dominuje kolor czerwony Multimedialne bazy danych (24) Slajd przedstawia przykBadowe zapytania do multimedialnych baz danych, pogrupowane wg typu metadanych, do których si odwoBuj. PrzykBady zapytaD odwoBujcych si do metadanych zewntrznych to: (a)  Znajdz wszystkie utwory wykonawcy X dostpne w formacie MP3 ; (b)  Znajdz wszystkie komedie re|ysera X o czasie trwania poni|ej 1,5h . PrzykBady zapytaD odwoBujcych si do znaczenia, realizowanych w oparciu o metadane semantyczne to: (a)  Znajdz wszystkie przemówienia na temat bezrobocia ; (b)  Znajdz wszystkie fotografie przedstawiajce prezydenta z premierem . PrzykBady zapytaD odwoBujcych si do zawarto[ci, realizowanych w oparciu o metadane sygnaBowe to: (a)  Znajdz wszystkie obrazy podobne do narysowanego (naszkicowanego) ; (b)  Znajdz wszystkie utwory podobne do zanuconego do mikrofonu ; (c)  Znajdz wszystkie filmy z aktorem przedstawionym na zdjciu ; (d)  Znajdz wszystkie obrazy, w których dominuje kolor czerwony . Oczywi[cie mo|liwe s te| zapytania odwoBujce si jednocze[nie do ró|nych typów metadanych, np.  Znajdz wszystkie fotografie w formacie JPEG, w rozdzielczo[ci co najmniej 1024 x 768 pikseli, przedstawiajce krajobraz wysokogórski o udziale i lokalizacji kolorów zbli|onej do wskazanego, przykBadowego obrazka . 24 Zaawansowane systemy baz danych - ZSBD Metadane sygnaBowe dla obrazów " Zredni kolor " Histogram kolorów " Kontury segmentów obrazu (ksztaBty) " Tekstury " Lokalizacja kolorów, ksztaBtów i tekstur na obrazie Multimedialne bazy danych (25) Jak wspomniano wcze[niej, technika wyszukiwania w oparciu o zawarto[ w multimedialnych bazach danych jest w chwili obecnej najlepiej dopracowana i dostpna dla obrazów. Typowe wBa[ciwo[ci obrazów wykorzystywane przy wyszukiwaniu obrazów w oparciu o zawarto[ to: Zredni kolor  wyznaczany w oparciu o podziaB obrazu na n próbek i niezale|ne u[rednianie komponentów RGB koloru; Histogram kolorów  reprezentujcy udziaB procentowy kolorów w obrazie, najcz[ciej wyznaczany po zredukowaniu liczby kolorów np. do 256; KsztaBty - odkrywane w procesie tzw. segmentacji obrazu, gdzie segmenty s rozumiane jako spójne regiony o tym samym kolorze; Tekstury - opisujce chropowato[, kontrast, kierunkowo[ wzorców wypeBniajcych ksztaBty i tBo obrazu; reprezentowane w postaci wektorów czy macierzy wspóBczynników liczbowych, wyznaczanych specjalistycznymi algorytmami; Lokalizacja kolorów, ksztaBtów i tekstur na obrazie  wyznaczana poprzez podziaB obrazu na siatk regionów i nastpnie wyznaczenie dominujcych kolorów, ksztaBtów i tekstur dla ka|dego regionu. 25 Zaawansowane systemy baz danych - ZSBD Interfejsy do wyszukiwania obrazów w oparciu o zawarto[ " Najcz[ciej wyszukiwanie poprzez podanie przykBadu  wybranego z predefiniowanego zbioru  dostarczonego przez u|ytkownika  naszkicowanego za pomoc edytora graficznego " Mo|liwo[ wyboru wBa[ciwo[ci i przypisania wag " PrzykBad (http://www.hermitagemuseum.org/): Multimedialne bazy danych (26) Kryteria wyszukiwania obrazów ze wzgldu na zawarto[ typowo s podawane w formie przykBadowego obrazka. Wyszukiwanie sprowadza si do znalezienia obrazów podobnych do podanego przykBadu. Czsto u|ytkownik ma mo|liwo[ wskazania, które wBa[ciwo[ci wizualne maj by uwzgldnione w testach podobieDstwa z opcj przypisania im wag. Dostarczenie systemowi wzorcowego obrazu mo|e polega na: (a) wyborze z predefiniowanego zbioru obrazków reprezentujcych poszczególne kategorie, (b) zaBadowaniu do systemu obrazka dostarczonego przez u|ytkownika, (c) naszkicowaniu obrazu za pomoc prostego, wbudowanego w interfejs edytora graficznego. Edytor ten mo|e by zorientowany na konkretn dziedzin zastosowaD i udostpnia pewne predefiniowane ksztaBty. PrzykBadem istniejcego, ogólnodostpnego serwisu umo|liwiajcego wyszukiwanie obrazów ze wzgldu na zawarto[ jest serwis internetowy rosyjskiego muzeum Ermita| (http://www.hermitagemuseum.org/). Serwis udostpnia dwie wyszukiwarki oparte o technologi QBIC firmy IBM, która jest obecnie cz[ci funkcjonalno[ci systemu zarzdzania baz danych IBM DB2: (a) QBIC Color Search (http://www.hermitagemuseum.org/fcgi- bin/db2www/qbicColor.mac/qbic?selLang=English) umo|liwiajc wyszukanie obrazów o zadanym udziale kolorów, (b) QBIC Layout Search (http://www.hermitagemuseum.org/fcgi- bin/db2www/qbicLayout.mac/qbic?selLang=English) umo|liwiajc wyszukanie obrazów o wskazanej lokalizacji kolorów. Na slajdzie pokazany jest przykBad zapytania o lokalizacj kolorów przygotowanego za pomoc interfejsu QBIC Layout Search i przykBadowy obrazek z kolekcji obrazów zwróconych przez system dla tego zapytania. 26 Zaawansowane systemy baz danych - ZSBD Ekstrakcja i indeksowanie wBa[ciwo[ci " Ekstrakcja:  a priori  dynamiczna  a priori dla cz[ci wBa[ciwo[ci, dynamiczna dla innych " Indeksowanie:  wBa[ciwo[ci reprezentowane jako punkty w przestrzeni wielowymiarowej  wykorzystywane struktury indeksów wielowymiarowych: R-drzewa, pliki kratowe, k-d-B-drzewa, itp.  zapytania punktowe, przedziaBowe, najbli|szy ssiad Multimedialne bazy danych (27) Ekstrakcja wBa[ciwo[ci wykorzystywanych do wyszukiwania w oparciu o zawarto[ z obiektów multimedialnych mo|e odbywa si: a priori  w momencie Badowania obiektów do bazy danych lub dynamicznie  w momencie gdy pojawia si zapytanie, które si do nich odwoBuje. Zalet ekstrakcji a priori jest wiksza szybko[ realizacji zapytaD, gdy| wBa[ciwo[ci dla obiektów w bazie danych s ju| wyznaczone, a by mo|e równie| poindeksowane. W przypadku ekstrakcji a priori wydBu|a si jednak czas Badowania obiektów do bazy danych i rosn wymagania na pami dyskow. Z kolei ekstrakcja dynamiczna prowadzi do spowolnienia zapytaD, gdy| algorytmy ekstrakcji wBa[ciwo[ci s czasochBonne. Ogólnie, lepszym rozwizaniem jest ekstrakcja a priori, gdy| pami dyskowa nie jest dzi[ droga, a wa|niejsza jest redukcja czasu zapytaD (wykonywanych wielokrotnie) ni| Badowania danych do bazy (wykonywanego raz). Ekstrakcja a priori daje te| mo|liwo[ poindeksowania wBa[ciwo[ci, co dodatkowo mo|e przyspieszy realizacj zapytaD. Poleganie na samej tylko ekstrakcji a priori wi|e si jednak z konieczno[ci wskazania, które wBa[ciwo[ci bd mogBy by wykorzystywane w zapytaniach, ju| na etapie projektowania struktur danych. Dlatego te|, mo|liwym kompromisem jest ekstrakcja a priori dla najwa|niejszych w danej aplikacji wBa[ciwo[ci, z mo|liwo[ci ekstrakcji dynamicznej tych rzadziej wykorzystywanych. Wyszukiwanie w oparciu o zawarto[ mo|e by wspierane za pomoc struktur indeksowych. WBa[ciwo[ci obiektów multimedialnych mog by reprezentowane jako punkty w przestrzeni wielowymiarowej. Z tego powodu, multimedialne bazy danych wykorzystuj struktury indeksów wielowymiarowych, takie jak R-drzewa, pliki kratowe, k-d-B-drzewa, itp. Od indeksów wymaga si wspierania zapytaD: (a) punktowych  do wyszukiwania obiektów o dokBadnie takich samych wBa[ciwo[ciach; (b) przedziaBowych - do wyszukiwania obiektów o wBa[ciwo[ciach zbli|onych; (c) typu najbli|szy ssiad  do wyszukiwania obiektu najbardziej podobnego do danego. 27 Zaawansowane systemy baz danych - ZSBD SkBadowanie danych multimedialnych Dyski magnetyczne " Hierarchiczne Dyski optyczne, ta[my struktury skBadowania Jukebox, roboty " Sposoby organizacji danych na no[nikach  replikacja  striping a1 a2 a3 a4 a1 a2 a3 a4 a5 a6 a7 a8 a5 a6 a7 a8 ... ... ... ... ... ... ... ... Pasek (stripe) Disk 1 Disk 2 Disk 3 Disk 4 Multimedialne bazy danych (28) SkBadowanie danych stanowi istotny problem dla danych multimedialnych o szczególnie du|ym rozmiarze, czyli przede wszystkim filmów wideo. Pierwszym ograniczeniem jakie mo|e napotka system skBadowania danych wideo jest ograniczona pami dyskowa. Tradycyjnie problem ten byB rozwizywany przez wykorzystanie hierarchicznych struktur skBadowania. Idea polegaBa na przechowywaniu najcz[ciej |danych filmów na dyskach magnetycznych (dostpnych on-line), a wszystkich filmów na no[nikach typu dyski optyczne czy ta[my (dostpnych off-line), udostpnianych przez urzdzenia typu jukebox albo archiwa obsBugiwane przez roboty. Dane zawsze byBy serwowane z pamici dyskowej, co pocigaBo za sob konieczno[ migracji danych z pamici off-line do on-line w przypadku |dania maBo popularnego filmu. Drugim problemem, który miaB znaczenie przede wszystkim w przeszBo[ci, byBa zbyt maBa szybko[ transmisji danych z dysków. Rozwizania tego problemu to replikacja i striping. Replikacja polega na duplikowaniu zawarto[ci poszczególnych dysków, dziki czemu kolejne fragmenty filmu mog by równolegle odczytywane z kolejnych dysków. Striping to technika umo|liwiajca osignicie tego samego efektu, ale bez duplikowania danych i marnowania przestrzeni dyskowej. W tym wypadku dane rozmieszczane s na kolejnych dyskach w formie tzw. pasków (ang. stripe). Fragmenty jednego paska mog by odczytywane równolegle, zwikszajc przepustowo[ transmisji danych filmu z macierzy dyskowej maksymalnie tyle razy, ile dysków obejmuje pasek. Rozwizania przedstawione na slajdzie w ostatnich latach z pewno[ci straciBy na znaczeniu w zwizku z cigBym wzrostem pojemno[ci i szybko[ci dysków magnetycznych poBczonym ze spadkiem ich cen. Niemniej, pojemno[ macierzy dysków serwera w dalszym cigu jest mniejsza od praktycznie nieograniczonej pojemno[ci archiwów ta[mowych obsBugiwanych przez roboty, a szybko[ transmisji danych z dysków magnetycznych w dalszym cigu stanowi wskie gardBo w porównaniu z szybko[ci odczytu danych z pamici operacyjnej, a nawet szybko[ci transmisji danych przez nowoczesne sieci komputerowe. 28 Zaawansowane systemy baz danych - ZSBD Prezentacja danych multimedialnych (1/2) " Problemy z danymi wra|liwymi na opóznienia " Transmisja strumieniowa danych wideo " Warunki dla pojedynczego strumienia " ObsBuga wielu strumieni  balans midzy liczb|daD a jako[ci usBug  szeregowanie strumieni Multimedialne bazy danych (29) Problemy prezentacji danych multimedialnych dotycz danych wra|liwych na opóznienia, czyli danych audio i wideo. Szczególnie problemy uwidaczniaj si dla danych wideo, ze wzgldu na ich du|y rozmiar. W praktyce dla danych wideo stosowana jest transmisja strumieniowa z dwóch podstawowych powodów. Po pierwsze, klient mo|e nie dysponowa woln przestrzeni dyskow umo|liwiajc pobranie i skBadowanie caBego filmu po swej stronie przed rozpoczciem odtwarzania. Po drugie, w przypadku transmisji strumieniowej prawie natychmiast po rozpoczciu przesyBania danych mo|e rozpocz si odtwarzanie filmu po stronie klienta, bez konieczno[ci oczekiwania na przesBanie caBego filmu. Dla pojedynczego strumienia musi by speBniony oczywisty i z pozoru Batwy do speBnienia warunek, tj. ilo[ produkowanych danych musi w ka|dej chwili przewy|sza ilo[ danych konsumowanych. Sytuacja niestety jest o tyle skomplikowana, |e poziom konsumpcji danych mo|e by zmienny w czasie ze wzgldu na kompresj danych, a poziom produkcji danych mo|e by zmienny ze wzgldu na konieczno[ zmiany [cie|ek przy odczycie z dysku, zmienne prdko[ci transmisji danych dla ró|nych regionów no[nika, itp. W przypadku obsBugi wielu klientów przez wiele strumieni, system musi zadba, aby do ka|dego strumienia w odpowiednim momencie wysBa odpowiedni ilo[ danych. Przyjmujc kolejne |danie system musi zapewni, aby nie spowodowaBo to obni|enia poziomu jako[ci usBug obsBugiwanym ju| u|ytkownikom. Strumienie obsBugiwane s w tzw. rundach  w ka|dej rundzie do ka|dego strumienia przekazywana jest odpowiednia ilo[ danych. 29 Zaawansowane systemy baz danych - ZSBD Prezentacja danych multimedialnych (2/2) " Optymalizacja obsBugi wielu klientów  batching  bridging  piggybacking Multimedialne bazy danych (30) Optymalizacja strumieniowej transmisji dla wielu klientów sprowadza si przede wszystkim do redukcji liczby strumieni wykorzystywanych do transmisji tego samego filmu. Zaproponowano w tym zakresie nastpujce techniki: Batching  polega na odsuniciu w czasie rozpoczcia transmisji  by mo|e nadejd identyczne |dania i grup |daD obsBu|y jeden strumieD; Bridging  dla strumieni dotyczcych tego samego filmu, nieznacznie przesunitych w czasie, polega na przechowywaniu danych z okna czasowego midzy strumieniami w pamici cache; Piggybacking  dla strumieni dotyczcych tego samego filmu, nieznacznie przesunitych w czasie, polega na przyspieszeniu drugiego filmu (poprzez pominicie niektórych klatek) lub spowolnieniu pierwszego (poprzez wstawienie klatek interpolowanych) tak aby oba |dania byBy od pewnego momentu obsBugiwane przez jeden strumieD (zaobserwowano, |e wahania prdko[ci transmisji poni|ej 5% s niezauwa|alne dla czBowieka). 30 Zaawansowane systemy baz danych - ZSBD Podsumowanie " SZMBD = SZBD obsBugujcy dane multimedialne " Dane multimedialne znaczco ró|ni si od tradycyjnych " Kluczow rol w opisie i wyszukiwaniu danych multimedialnych odgrywaj metadane " Typowe w multimedialnych bazach danych jest wyszukiwanie w oparciu o zawarto[ " Szczególne wyzwanie dla systemów baz danych stanowi dane wideo ze wzgldu na du|y rozmiar i wra|liwo[ na opóznienia Multimedialne bazy danych (31) Od systemów zarzdzania multimedialn baz danych oczekuje si, aby oferowaBy one tradycyjn funkcjonalno[ systemów zarzdzania baz danych dla danych multimedialnych. Problemy w implementacji takich systemów wynikaj ze specyfiki danych multimedialnych w zakresie modeli danych, przetwarzania zapytaD, fizycznych struktur skBadowania i metod prezentacji. Kluczow rol w opisie i wyszukiwaniu danych multimedialnych odgrywaj ró|nego rodzaju metadane. W zwizku z tym dla multimedialnych baz danych wskazane s modele danych umo|liwiajce modelowanie obiektów multimedialnych jako obiektów wi|cych zawarto[ binarn i opisujce j metadane. Typowe w multimedialnych bazach danych jest wyszukiwanie w oparciu o zawarto[, w praktyce najcz[ciej realizowane poprzez podanie przykBadu i wyszukiwanie obiektów podobnych. Zapytania tego typu odwoBuj si niskopoziomowych wBa[ciwo[ci obiektów multimedialnych, automatycznie ekstrahowanych z danych specjalistycznymi algorytmami. Szczególne wyzwanie dla systemów baz danych stanowi dane wideo, poniewa| podobnie jak audio s wra|liwe na opóznienia w transmisji, a do tego typowo ich rozmiar jest znaczco wikszy od innych typów danych. Stwarza to problemy odpowiedniej organizacji danych na no[nikach oraz wymaga transmisji strumieniowej przy prezentacji danych. 31 Zaawansowane systemy baz danych - ZSBD MateriaBy dodatkowe " V.S. Subrahmanian, Principles of Multimedia Database Systems, Morgan Kaufmann " B. Thuraisingham, Managing and Mining Multimedia Databases, CRC Press " H. Kosch, Distributed Multimedia Database Technologies Supported by MPEG-7 and MPEG-21, CRC Press " J. M. Martínez, MPEG-7 Overview " J. Yiu-bun Lee, Distributed Video Systems Multimedialne bazy danych (32) 32

Wyszukiwarka

Podobne podstrony:
Zsbd 2st 1 2 w3 tresc 1 1 kolor
ZSBD 2st 1 2 w11 tresc 1 5 kolor
ZSBD 2st 1 2 w9 tresc 1 5 kolor
Zsbd 2st 1 2 w4 tresc 1 1 kolor
ZSBD 2st 1 2 w10 tresc 1 5 kolor
ZSBD 2st 1 2 w02 tresc 1 1 kolor
Zsbd 2st 1 2 w8 tresc 1 4 kolor
Zsbd 2st 1 2 w6 tresc 1 1 kolor
ZSBD 2st 1 2 w01 tresc 1 1 kolor
ZSBD 2st 1 2 w13 tresc 1 1 kolor
BD 2st 1 2 w06 tresc 1 1 kolor
BD 2st 1 2 w05 tresc 1 1 kolor
BD 2st 1 2 w03 tresc 1 1 kolor
BD 2st 1 2 w08 tresc 1 1 kolor

więcej podobnych podstron