„jeden obraz mówi więcej niż tysiąc słów”

Niełatwa definicja MULTIMEDIÓW

intuicyjnie -

wszystko, co dowołuje się do różnych zmysłów, modalności - czyli różnych sposobów przyswajania informacji (wykraczając poza przetwarzanie tekstów i liczb)

skąd się wywodzą MULTIMEDIA?

początki - prezentacje: slajdy, muzyka, prelekcja - atrakcyjność przekazu (tylko audio i wideo!!)

FORMA stanowi o TREŚCI -- akcja, „życie” na ekranie jest trzecim wymiarem czasu

• dla elektroników - POŁĄCZENIE TECHNOLOGII KOMP. I WIDEO

• dla użytkowników PC - STANDARD HARDWARE/SOFTWARE

MULTIMEDIA NIE SĄ JEDNĄ RZECZĄ - JEST TO ZWIĄZEK IDEI I TECHNOLOGII

• z braku pojedyńczości multimediów wynika ich siła i uniwersalność

• każdy następny program posiada coraz więcej cech multimedialnych

Zmysły człowieka

• Smak - przy jedzeniu, zmysł `zwierzęcy'

• Węch - też jedzenie, przyjemności ale i „smród” od palacza tytoniu

• Dotyk - „inżynier” zmysłów, koordynator

• Wzrok i słuch - zmysły komunikowania się

Siła multimediów wynika ze SPOSOBU przedstawiania audio i wideo

• TV czy kino nie jest multimedialne

W PC jednym z najważniejszych trendów rozwojowych była WIELOZADANIOWOŚĆ

• stąd teraz PC-ty nadają się do zastosowań multimedialnych

W MULTIMEDIACH WIDOCZNE SĄ

- elementy hardware i software

- urządzenia i pomysły

- systemy sterowania i czysta informacja

- interfejs użytkownika i system składowania

Dla osiągnięcia wystarczającej ROZDZIELCZOŚCI (resolution) czy WIERNOŚCI (fidelity) potrzebne jest odpowiednio szerokie PASMO (bandwith)

duża ilość informacji - problem gęstości zapisu na nośniku - kompresja danych

Standardy hardware (Multimedia PC - MPC, MPC 2)

• duża moc obliczeniowa nieobecna w starszych typach PC i możliwości

• logarytmiczny wzrost możliwości hardware'owych

Rola nośnika CD w systemach multimedialnych, teraz DVD, ...BlueRay...

O efekcie końcowym decyduje jednak SOFTWARE!

Media w połączeniu z PC oznaczają software

słowa, dźwięki, muzyka, obrazy składają się na całą opowieść, omówienie, wyjaśnienie czy prezentację, stąd dużo racji ma identyfikowanie multimediów z oprogramowaniem

To software ożywia multimedialny PC

Niemniej od strony informatycznej każdy software jest taki sam - języki, procedury, polecenia...

Multimedia NIE powstają też na styku hardwaru i softwaru - nie są interfejsem

- WINDOWS jest tylko NARZĘDZIEM WSPOMAGAJĄCYM multimedia

MULTIMEDIA NIE SĄ RZECZĄ POJEDYŃCZĄ - SĄ EFEKTEM POŁĄCZENIA HARDWARE'U SOFTWARE'U I INTERFEJSÓW. DO TEGO DOCHODZI ZAANGAŻOWANY, AKTYWNY ODBIORCA, WCIĄGNIĘTY PRZEZ INTERAKTYWNOŚĆ, NIEODZOWNĄ CECHĘ SYSTEMÓW MULTIMEDIALNYCH

Dzięki multimediom udało połączyć się w całość wzajemnie przenikającą się - w jedno medium - to, co dotychczas występowało oddzielnie - powstał tzw. system wielomodalny (łączący techniki publicystyczno-wydawnicze, elektronikę powszechnego użytku i zastosowania komputerowe)

CO ROBIĄ MULTIMEDIA?

przedstawiają informację, dzielą się ideami, wywołują emocję, pobudzają do śmiechu czy płaczu, czasami nudzą - pozwalają widzieć, słyszeć i rozumieć myśli innych

MULTIMEDIA SĄ ZATEM FORMĄ KOMUNIKOWANIA SIĘ

Co jest innego w komunikowaniu się multimedialnym?

• Inny wygląd informacji na ekranie niż w gazecie czy podręczniku

• Zawartość ekranu szybko się zmienia - nie czeka na użytkownika (jak książka)

• Możliwe są animacje

• Możliwe jest umieszczania kilku obrazów - animacji obok siebie

• Możliwa obróbka (miksowanie) własnych sekwencji wideo

• Możliwa obróbka dźwięku - miksowanie, filtracja, synteza...

• Możliwość wzajemnej edycji ścieżki wideo i audio w własnych „produkcjach”

• Interaktywność multimediów

• Indywidualne tempo pracy

Dzisiejsze multimedia naśladują starą technologię - książkę.

Od ośmiu stuleci człowiek ciągle myśli kategoriami książki!

W multimediach informacje z CD (książka) poprzez PC (czytelnia...) docierają do użytkownika (czytelnik)

Dwie strony multimediów - nadawca i odbiorca

Ideałem jest aktywne - interaktywne - uczestnictwo użytkownika w multimedialnej aplikacji

Ciągle - niestety - najpowszechniejszą formą w multimediach jest jednostronność komunikacji - elektroniczny wykład - medium transmisyjne

Niebezpieczeństwem może być bezmyślne `klikanie' w interaktywnej aplikacji

twierdzenie o szkodliwości gier komputerowych i TV

w XVIII/XIX wieku A.Schopenhauer twierdził, iż czytanie książek wiedzie do otępienia umysłu i bezmyślności

Aspekty ZA - obietnica rozrywki, przyciągają skłonny do rozpraszania umysł, angażują fizycznie oraz intelektualnie w stopniu, przy którym TV krańcowo zawodzi, często nie wymagają umiejętności czytania, dostarczają motywacji do nauki, stanowią inspirację do własnych poszukiwań i przemyśleń

Aspekty PRZECIW - złodziej czasu, utrata bezpośrednich więzi z drugim człowiekiem, uwaga na wzrok i postawę (kręgosłup, palce)

Sytuacja globalnej sieci przypomina wynalazek S. Morse'a z 1858 r. Telegraf

`wiktoriański internet', obawy i zachwyty, skurczenie się świata, patologie

KOSZTY

System multimedialny (PC) ciągle nie jest tani (sprzęt i LEGALNY software)

Technologie ON-LINE - WAN/LAN, CompuServe, Datex-J, Telkom Finland, INTERNET - szybkość transmisji danych - koszt jednostkowy informacji - aktualizacja danych (encyklopedie, informatory...)

Prognozy na przyszłość

nie są jednolite - decydująca jest sprawa akceptacji nowych i - z reguły - nietanich rozwiązań przez użytkownika - brak odniesień do wcześniejszych doświadczeń

Chybione wcześniejsze prognozy

• TELETEKST - w latach 80 prognozowano gigantyczne zapotrzebowanie

- na koniec lat 90 - tylko 300000 odbiorców w Europie.

• CD - w latach 70 - nowość, prognoza dużej i szybkiej popularności - tylko Japonia, USA i Europa po staremu magnetowidy - dopiero w końcu lat 90 i dzisiaj wypierają wideo kasetowe.

• dyskom audio-CD w pocz. lat 80 nie wróżono przyszłości

• gwałtowny rozwój rynku komputerów PC dla zastosowań domowych

• zaskakujący popyt na kamery wideo dla zastosowań nieprofesjonalnych

• na dzień dzisiejszy PC tylko prezentuje informacje

• multimediom potrzebny jest POMYSŁ w stylu MTV czy CNN

• na prawdziwy przełom w tej dziedzinie ciągle czekamy - może TY?

ZASTOSOWANIE MULTIMEDIÓW

• EDUKACJA - szczególnie małych dzieci - infopedia, explorapedia -- anatomia, geografia, historia - niepożądane jest powielanie tradycyjnych wzorców uczenia

• MATERIAŁY SZKOLENIOWE - spadek zainteresowania książką po szkole

• PORADNIKI - ze względu na ograniczoną pojemność nośnika - albo mało dogłębne (fast food), albo bardzo specjalistyczne - encyklopedie, zdrowie, mapy, przewodniki turystyczne...

• HELP multimedialny w aplikacjach

• ROZRYWKA - audio CD, tuner RTV...

• GRY - `interakcja to gry' gry komputerowe to doświadczenie multimedialne na długo przed pojawieniem się multimediów,

GRY NAPĘDZAJĄ ROZWÓJ SPRZĘTU - HD, grafika, dźwięk, moc obliczeń

• WYDAWNICTWA - w fazie przygotowań - zakup praw na przyszłe publikacje multimedialne (wydawnictwa, konkretne książki i serie, zdjęcia dzieł sztuki, dostęp do muzeów...)

• KIOSKI informacyjne, prezentacje targowe, systemy nawigacyjne

• REKLAMA produktów i firm

• KOMUNIKACJA GŁOSOWA (Voice Mail) i komunikacja poprzez obraz (videokonferencje)

• SYMULACJA - symulatory dla kierowców, pilotów..., projektowanie, architektoniczne, wyposażenie wnętrz, moda, fryzjer...

• KOMPUTEROWE PRZETWARZANIE OBRAZU VIDEO - montaż, efekty specjalne...

• „WYTWARZANIE” muzyki - karta MIDI - syntezatory i sekwencery

• ARCHIWIZACJA i katalogowanie danych

• BANKOWOŚĆ elektroniczna, domy aukcyjne, giełda

MULTIMEDIA A HARDWARE KOMPUTEROWY I ELEKTRONIKA KOMERCYJNA

Adaptacja multimediów do przemysłu komputerowego i elektroniki komercyjnej

„Ludzie z branży komputerowej chcą podłączyć telewizor do PC-ta, natomiast ludzie z kręgów elektroniki komercyjnej pragną dokonać integracji komputera z odbiornikiem TV”

`kwestia położenia wyłącznika zasilania'

Historia URZĄDZEŃ CD I DVD

1982 - standard CD-DA (Compact Disk - Digital Audio) cyfrowego zapisu dźwięku na CD, 176 KB/s

1985 - standard CD-ROM (Compact Disk - Read Only Memory) odczytu informacji

1987 - standard CD-I (Compact Disk - Interactive) oraz CD-ROM XA (Extended Architekture) odczytu danych, dźwięku i obrazu

1990 - standard CD-R (CD-Recordable) dla płyt zapisywalnych

12 cm, 1,2 mm, 650 MB, landy (obicie) i pity min. 0,88 m (odbicie z interferencją i wygaszeniem), laser diodowy 780 nm, ścieżka spiralna 6 km x 0,6 m co 1,6 m, system CLV (Constant Linear Velocity) ora CAV (Constant Angular Velocity) odczytu danych, krotność szybkości odczytu

Formaty zapisu danych na dysku CD - stały sektor 2352 bajty

CD-ROM Mode 1 - 2048 danych, 288 korekcja błędów, 12 synchronizacja, 4 nagłówek

CD-ROM Mode 2 - 2336 danych, 12 synchronizacja, 4 nagłówek - do skompresowanych danych audio-video

CD-ROM XA/CD-I (Mode 2 Form 1) - 2048 danych, 280 korekcja błędów, 24 synchronizacja i nagłówek

CD-ROM XA/CD-I (Mode 2 Form 2) - 2324 danych, 28 synchronizacja i nagłówek - cyfrowe video

CD-DA (CD-Digital Audio) - całość do zapisu dźwięku

DVD (Digital Versatile Disk) - 4,7 do 17 GB danych - dwustronny i dwuwarstwowy zapis, ze zwiększoną gęstością (pity min. 0,4 mm, 0,74 mm odległość ścieżek) - w technice Audio - Video

Znacznie wrażliwsze niż zwykłe płyty CD-ROM. Tanie.

Standardy: DVD-R, DVD-RW, DVD+RW oraz w specjalnej obudowie DVD-ROM

Dalsza przyszłość: płyty nagrywane niebieskim laserem (pojemność rośnie ok. 10 razy) i płyty fluorescencyjne (pojemność ponad 100 GB).

CYBERSPACE czyli wirtualna rzeczywistość

Świat wirtualny - w odróżnieniu od TV - umożliwia rozglądanie się dookoła i poruszanie się, branie aktywnego udziału w wydarzeniach, daje wrażenie obecności w świecie wirtualnym

Sprzęt:

Hełm (HMD, Head Mounted Display) - dwa ekrany, słuchawki, interfejs przekazujący ruchy głowy do komputera - np. HMD Crystal Eyes (StereoGraphics Corp) - sześć stopni swobody ruchu, trzy kierunki (lewy-prawy, góra-dół, przód-tył) i trzy obroty w przestrzeni;

CAVE (jaskinia) - urządzenie projekcyjne

Rękawica danych (kombinezon) - urządzenie wejściowe przekazujące ruchy rąk (lub całego ciała) do systemu, czasami zaopatrzone w efektory dotyku

Wymagania hardware'owe - WYSOKIE - symulatory lotu, symulatory medyczne

Zastosowania - GRY, edukacja, medycyna - szkolenia, operacje i zabiegi chirurgiczne, archeologia i historia: rekonstrukcje starożytnych zabytków - modele Stonehenge; starożytnego Rzymu, Aten, model benedyktyńskiej bazyliki Cluny, technika - symulatory najróżniejszego rodzaju, sterowanie robotem na księżycu lub we wnętrzu wulkanu.

Projektowanie - projekty elementów np. pokoju mieszkalnego, zestawienie w całość tych elementów, etap projektowania konturowego a następnie - kolory, tekstury, światła, odbicia, cienie, refleksy, przejrzystość - rendering powierzchni elementów pokoju, zazwyczaj osiągany metodą śledzenia promienia - ray tracing.

Obliczenia jednego obrazu - długotrwałe

Tendencje rozwoju multimediów

PC, magnetowid, telefon, faks, telewizor, odtwarzacz CD.- zacieranie się różnic..

Wzrost pojemności sieci informatycznych - infostrada - 1000 Gb / s

Wzrost mocy obliczeniowej komputerów - co 18 miesięcy podwojenie możliwości

Wzrost pojemności nośników informacji

Doskonalenie metod kompresji dla mediów strumieniowych

Sterowanie głosem

Rozpoznawanie głosu (nauka języków obcych z automatycznym lektorem)

Teleobecność i teleimersja (wrażenie obecności) - wymaga obrazów z wielu kamer, udział wszystkich zmysłów - dotyku też

Zapachy z komputera (iSmell - DigiScents - pierwsze testy z 2000 roku - zapachy tworzą się w ciągu 4-6 sekund, trwają też 4-6 sek. Ok. 128 podstawowych kompozycji, dane do mieszania rzędu 1 KB, można wytworzyć tysiące zapachów)

Dotyk: zdalne wyczucie różnych substancji dotykiem

Obniżenie bariery komputer - niezaawansowany użytkownik

Wzrost dostępności do informacji

Czy będziemy umieli rozsądnie z tych możliwości skorzystać - pytanie otwarte

wąskie gardło multimediów - PRZECHOWYWANIE DANYCH

Dostępne urządzenia: HD, FD, ZIP-y, taśmy streamery, karty pamięci, CD, DVD...

FORMAT DANYCH JEST ZNACZNIE ISTOTNIEJSZY

OD MIEJSCA ICH SKŁADOWANIA

Wszystkie bity są takie same - różnica polega na wzorcu, w jakim zostały rozmieszczone

przechowywanie danych jest pamięciożerne - stąd konieczność kompresji danych - audio, obrazów nieruchomych jak i szczególnie - ruchomych, wideo

Standaryzacja formatów RIFF (Resource Interchange File Format) - MS i IBM

• Na wzór PAL (paleta barw), RDIB (bitmapa niezależna od platformy), RMID (MIDI), RMMP (kino multimedialne), WAV (kształt sygnału audio)

• samoopisująca się struktura plików, słowa kodowe (obraz, wideo, audio), bity organizacyjne danych, wiele różnych (samoopisanych) struktur danych w jednym pliku

Najważniejsza z punktu widzenia użytkownika, jest kompresja w czasie rzeczywistym

• bezstratne

• stratne - korzystając z tego, że w procesie przetwarzania cyfrowego obraz, dźwięk uzyskał reprezentację binarną, możemy w pewnym zakresie zmieniać dane bez utraty jakości wycinając część bitów odpowiadających fragmentom, których brak z uwagi na pewne cechy narządów wzroku i słuchu człowieka - nie będą zauważalne, lub będą widoczne w stopniu do przyjęcia.

1. Odwzorowanie koloru (color mapping) zmniejszenie liczby kolorów obrazu - inna głębia kolorów dla różnych rodzajów rysunków (las - zieleń, morze - niebieski...) - 256 barw wystarcza

2. Kwantowanie (odcinanie) - zastępowanie fragmentów obrazu pikselami o uśrednionej wartości (wada: brak ładnego i miłego dla oka przejścia kolorów)

3. Przycinanie - polega na uśrednieniu

4. Kwantowanie wektorowe - polega na uśrednianiu

5. Redukcja szybkości przesuwu (dla wideo) - z 25 kl/s - do 5-15 kl/s

6. Techniki transformacyjne - Podstawą jest transformata Fourier'a: rozkład informacji (o przebiegu w czasie) w postaci częstotliwościowej, DCT dyskretna transformata cosinusowa, transformata wavelet (zmniejsza pliki setki razy)

AUDIO

Dźwięki - mechaniczna (falowa) natura rozchodzenia się dźwięków w ośrodku sprężystym

częstotliwość 20 - 20 000 Hz, zakres ok. 10 oktaw

Natężenie dźwięku - odwrotnie proporcjonalne do kwadratu odległości

Ton dźwięku - harmoniczne (podstawowy i kilka wielokrotnych)

Odtwarzanie dźwięków - głośniki elektrodynamiczne (rola obudowy i przegrody w zestawie głośnikowym, subwoofer - głośnik (obudowa) dla najniższych częstotliwości,

Rola usytuowania zestawów głośnikowych w pomieszczeniu - tłumienie lub wzmacnianie niskich częstotliwości - zobrazowanie stereofoniczne dźwięku)

Mikrofony - Charakterystyki mikrofonów, Jakość dźwięku - zakres częstotliwości (50-15 000 Hz), kolor dźwięku

AUDIO - elektryczny równoważnik dźwięku, bez względu na system kodowania

analogowy - zazwyczaj napięcie proporcjonalne do natężenia dźwięku

cyfrowy - modulacja impulsowo-kodowa PCM - wartość liczbowa reprezentuje poziom dźwięku w danym momencie

kodowanie analogowo-cyfrowe i cyfrowo-analogowe -

częstotliwość próbkowania (sampling rate) i rozdzielczość (resolution)

jakość dźwięku:

częstotliwość próbkowania 8 kHz (telefon), 16 (komunikacja multimedialna), 22 i 32 (RTV cyfrowe), 44,1 (CD), 48 (magnetofony DAT, HDTV) 96 (DVD)

rozdzielczość - 8, 16 lub 32-bitowa

przepływowość - Bit Rate - liczba bitów opisująca 1 sekundę danych (dla MP3 standardowo 96 - 128 - 192 kbit/s)

Możliwości PC w zakresie audio

1. wytwarzanie, synteza dźwięków

2. przechwytywanie dźwięków ze świata zewnętrznego

3. miksowanie i edycja generowanych lub przechwyconych dźwięków

4. poprzez MIDI (Musical Instrument Digital Interface) sterowanie procesem wytwarzania dźwięków w innych urządzeniach

5. odtwarzanie całej zarejestrowanej kakofonii poprzez głośniki dowolnego rodzaju

karta dźwiękowa - zadania

• konwersja analogowo-cyfrowa i cyfrowo-analogowa

• synteza własnych dźwięków (niektóre)

• miksowanie dźwięków

• wzmacnianie

• obsługa CD-ROM

• obsługa portu MIDI (Musical Instrument Device Interface)

Kompresja audio - bardzo uciążliwa programowo

przy jakości CD stereo, dla próbkowania 44,1 kHz i 16-bitowej rozdzielczości

1 sekunda dźwięku wymaga ok.150 000 bitów (1 minuta - 10,5 MB)

MP3 - część standardu MPEG-1 warstwy 3, niezwykle rozpowszechniony, kompresja (stratna) rzędu kilkunastu, oparta o model psychoakustyczny, nowsze dyskmeny potrafią odtwarzać płyty CD-R i CD-RW z MP3. Jakość bliska CD wymaga strumienia 128 kbitów/sek, spotykane zakresy od kilkunastu kb/s (mowa, wiadomości strumieniowo, monofonicznie) do 256 kb/s (HI-FI stereo).

Kodowanie VBR (Variable Bit Rate) ze zmienną przepływowością daje nieco lepszą jakość przy tej samej wielkości plików.

Bitrate jakość dźwięku gatunek muzyki

poniżej 128 bardzo mocno zniekształcona, metaliczny przydźwięk

128 mocno zniekształcona dance, techno

160 dobra rock, elektroniczna

192 bardzo dobra, zbliżona do CD instrumentalna, poważna jazz

256 i więcej jakość CD muzyka poważna

MIDI - Musical Instrument Digital Interface

System sterowania do łączenia instrumentów elektronicznych

MIDI - sterowanie zewnętrznymi instrumentami muzycznymi - PC pełni rolę sekwensera - `dyrygenta' orkiestry

Analogia do zapisu nutowego - MIDI jest zapisem dla całej orkiestry, każdego instrumentu, głosu i dźwięku generowanego przez syntezator

OPROGRAMOWANIE „Multimedialne”

Programy do tworzenia i obróbki GRAFIKI 2D, 3D

Przeglądarki plików graficznych (i nie tylko) - Flash też!

Obróbka wideo

Odtwarzacze MP3

Programy do obróbki MP3

Programy do nagrywania TV na HD

Programy do nagrywania i renowacji nagrań z płyt analogowych i kaset na CD

Programy muzyczne MIDI - syntezatory

Programy do kopiowania DVD na CD (DivX)

Programy do nagrywarek

Programy do rozmów w sieci LAN / WAN

Programy do rozpoznawania tekstu OCR/ICR (Optical Charakter Recognition / Inteligent...)

Odtwarzacze DVD

---