„jeden obraz mówi więcej niż tysiąc słów”
Niełatwa definicja MULTIMEDIÓW
intuicyjnie -
wszystko, co dowołuje się do różnych zmysłów, modalności - czyli różnych sposobów przyswajania informacji (wykraczając poza przetwarzanie tekstów i liczb)
skąd się wywodzą MULTIMEDIA?
początki - prezentacje: slajdy, muzyka, prelekcja - atrakcyjność przekazu (tylko audio i wideo!!)
FORMA stanowi o TREŚCI -- akcja, „życie” na ekranie jest trzecim wymiarem czasu
dla elektroników - POŁĄCZENIE TECHNOLOGII KOMP. I WIDEO
dla użytkowników PC - STANDARD HARDWARE/SOFTWARE
MULTIMEDIA NIE SĄ JEDNĄ RZECZĄ - JEST TO ZWIĄZEK IDEI I TECHNOLOGII
z braku pojedyńczości multimediów wynika ich siła i uniwersalność
każdy następny program posiada coraz więcej cech multimedialnych
Zmysły człowieka
Smak - przy jedzeniu, zmysł `zwierzęcy'
Węch - też jedzenie, przyjemności ale i „smród” od palacza tytoniu
Dotyk - „inżynier” zmysłów, koordynator
Wzrok i słuch - zmysły komunikowania się
Siła multimediów wynika ze SPOSOBU przedstawiania audio i wideo
TV czy kino nie jest multimedialne
W PC jednym z najważniejszych trendów rozwojowych była WIELOZADANIOWOŚĆ
stąd teraz PC-ty nadają się do zastosowań multimedialnych
W MULTIMEDIACH WIDOCZNE SĄ
- elementy hardware i software
- urządzenia i pomysły
- systemy sterowania i czysta informacja
- interfejs użytkownika i system składowania
Dla osiągnięcia wystarczającej ROZDZIELCZOŚCI (resolution) czy WIERNOŚCI (fidelity) potrzebne jest odpowiednio szerokie PASMO (bandwith)
duża ilość informacji - problem gęstości zapisu na nośniku - kompresja danych
Standardy hardware (Multimedia PC - MPC, MPC 2)
duża moc obliczeniowa nieobecna w starszych typach PC i możliwości
logarytmiczny wzrost możliwości hardware'owych
Rola nośnika CD w systemach multimedialnych, teraz DVD, ...BlueRay...
O efekcie końcowym decyduje jednak SOFTWARE!
Media w połączeniu z PC oznaczają software
słowa, dźwięki, muzyka, obrazy składają się na całą opowieść, omówienie, wyjaśnienie czy prezentację, stąd dużo racji ma identyfikowanie multimediów z oprogramowaniem
To software ożywia multimedialny PC
Niemniej od strony informatycznej każdy software jest taki sam - języki, procedury, polecenia...
Multimedia NIE powstają też na styku hardwaru i softwaru - nie są interfejsem
- WINDOWS jest tylko NARZĘDZIEM WSPOMAGAJĄCYM multimedia
MULTIMEDIA NIE SĄ RZECZĄ POJEDYŃCZĄ - SĄ EFEKTEM POŁĄCZENIA HARDWARE'U SOFTWARE'U I INTERFEJSÓW. DO TEGO DOCHODZI ZAANGAŻOWANY, AKTYWNY ODBIORCA, WCIĄGNIĘTY PRZEZ INTERAKTYWNOŚĆ, NIEODZOWNĄ CECHĘ SYSTEMÓW MULTIMEDIALNYCH
Dzięki multimediom udało połączyć się w całość wzajemnie przenikającą się - w jedno medium - to, co dotychczas występowało oddzielnie - powstał tzw. system wielomodalny (łączący techniki publicystyczno-wydawnicze, elektronikę powszechnego użytku i zastosowania komputerowe)
CO ROBIĄ MULTIMEDIA?
przedstawiają informację, dzielą się ideami, wywołują emocję, pobudzają do śmiechu czy płaczu, czasami nudzą - pozwalają widzieć, słyszeć i rozumieć myśli innych
MULTIMEDIA SĄ ZATEM FORMĄ KOMUNIKOWANIA SIĘ
Co jest innego w komunikowaniu się multimedialnym?
Inny wygląd informacji na ekranie niż w gazecie czy podręczniku
Zawartość ekranu szybko się zmienia - nie czeka na użytkownika (jak książka)
Możliwe są animacje
Możliwe jest umieszczania kilku obrazów - animacji obok siebie
Możliwa obróbka (miksowanie) własnych sekwencji wideo
Możliwa obróbka dźwięku - miksowanie, filtracja, synteza...
Możliwość wzajemnej edycji ścieżki wideo i audio w własnych „produkcjach”
Interaktywność multimediów
Indywidualne tempo pracy
Dzisiejsze multimedia naśladują starą technologię - książkę.
Od ośmiu stuleci człowiek ciągle myśli kategoriami książki!
W multimediach informacje z CD (książka) poprzez PC (czytelnia...) docierają do użytkownika (czytelnik)
Dwie strony multimediów - nadawca i odbiorca
Ideałem jest aktywne - interaktywne - uczestnictwo użytkownika w multimedialnej aplikacji
Ciągle - niestety - najpowszechniejszą formą w multimediach jest jednostronność komunikacji - elektroniczny wykład - medium transmisyjne
Niebezpieczeństwem może być bezmyślne `klikanie' w interaktywnej aplikacji
twierdzenie o szkodliwości gier komputerowych i TV
w XVIII/XIX wieku A.Schopenhauer twierdził, iż czytanie książek wiedzie do otępienia umysłu i bezmyślności
Aspekty ZA - obietnica rozrywki, przyciągają skłonny do rozpraszania umysł, angażują fizycznie oraz intelektualnie w stopniu, przy którym TV krańcowo zawodzi, często nie wymagają umiejętności czytania, dostarczają motywacji do nauki, stanowią inspirację do własnych poszukiwań i przemyśleń
Aspekty PRZECIW - złodziej czasu, utrata bezpośrednich więzi z drugim człowiekiem, uwaga na wzrok i postawę (kręgosłup, palce)
Sytuacja globalnej sieci przypomina wynalazek S. Morse'a z 1858 r. Telegraf
`wiktoriański internet', obawy i zachwyty, skurczenie się świata, patologie
KOSZTY
System multimedialny (PC) ciągle nie jest tani (sprzęt i LEGALNY software)
Technologie ON-LINE - WAN/LAN, CompuServe, Datex-J, Telkom Finland, INTERNET - szybkość transmisji danych - koszt jednostkowy informacji - aktualizacja danych (encyklopedie, informatory...)
Prognozy na przyszłość
nie są jednolite - decydująca jest sprawa akceptacji nowych i - z reguły - nietanich rozwiązań przez użytkownika - brak odniesień do wcześniejszych doświadczeń
Chybione wcześniejsze prognozy
TELETEKST - w latach 80 prognozowano gigantyczne zapotrzebowanie
- na koniec lat 90 - tylko 300000 odbiorców w Europie.
CD - w latach 70 - nowość, prognoza dużej i szybkiej popularności - tylko Japonia, USA i Europa po staremu magnetowidy - dopiero w końcu lat 90 i dzisiaj wypierają wideo kasetowe.
dyskom audio-CD w pocz. lat 80 nie wróżono przyszłości
gwałtowny rozwój rynku komputerów PC dla zastosowań domowych
zaskakujący popyt na kamery wideo dla zastosowań nieprofesjonalnych
na dzień dzisiejszy PC tylko prezentuje informacje
multimediom potrzebny jest POMYSŁ w stylu MTV czy CNN
na prawdziwy przełom w tej dziedzinie ciągle czekamy - może TY?
ZASTOSOWANIE MULTIMEDIÓW
EDUKACJA - szczególnie małych dzieci - infopedia, explorapedia -- anatomia, geografia, historia - niepożądane jest powielanie tradycyjnych wzorców uczenia
MATERIAŁY SZKOLENIOWE - spadek zainteresowania książką po szkole
PORADNIKI - ze względu na ograniczoną pojemność nośnika - albo mało dogłębne (fast food), albo bardzo specjalistyczne - encyklopedie, zdrowie, mapy, przewodniki turystyczne...
HELP multimedialny w aplikacjach
ROZRYWKA - audio CD, tuner RTV...
GRY - `interakcja to gry' gry komputerowe to doświadczenie multimedialne na długo przed pojawieniem się multimediów,
GRY NAPĘDZAJĄ ROZWÓJ SPRZĘTU - HD, grafika, dźwięk, moc obliczeń
WYDAWNICTWA - w fazie przygotowań - zakup praw na przyszłe publikacje multimedialne (wydawnictwa, konkretne książki i serie, zdjęcia dzieł sztuki, dostęp do muzeów...)
KIOSKI informacyjne, prezentacje targowe, systemy nawigacyjne
REKLAMA produktów i firm
KOMUNIKACJA GŁOSOWA (Voice Mail) i komunikacja poprzez obraz (videokonferencje)
SYMULACJA - symulatory dla kierowców, pilotów..., projektowanie, architektoniczne, wyposażenie wnętrz, moda, fryzjer...
KOMPUTEROWE PRZETWARZANIE OBRAZU VIDEO - montaż, efekty specjalne...
„WYTWARZANIE” muzyki - karta MIDI - syntezatory i sekwencery
ARCHIWIZACJA i katalogowanie danych
BANKOWOŚĆ elektroniczna, domy aukcyjne, giełda
MULTIMEDIA A HARDWARE KOMPUTEROWY I ELEKTRONIKA KOMERCYJNA
Adaptacja multimediów do przemysłu komputerowego i elektroniki komercyjnej
„Ludzie z branży komputerowej chcą podłączyć telewizor do PC-ta, natomiast ludzie z kręgów elektroniki komercyjnej pragną dokonać integracji komputera z odbiornikiem TV”
`kwestia położenia wyłącznika zasilania'
Historia URZĄDZEŃ CD I DVD
1982 - standard CD-DA (Compact Disk - Digital Audio) cyfrowego zapisu dźwięku na CD, 176 KB/s
1985 - standard CD-ROM (Compact Disk - Read Only Memory) odczytu informacji
1987 - standard CD-I (Compact Disk - Interactive) oraz CD-ROM XA (Extended Architekture) odczytu danych, dźwięku i obrazu
1990 - standard CD-R (CD-Recordable) dla płyt zapisywalnych
12 cm, 1,2 mm, 650 MB, landy (obicie) i pity min. 0,88 m (odbicie z interferencją i wygaszeniem), laser diodowy 780 nm, ścieżka spiralna 6 km x 0,6 m co 1,6 m, system CLV (Constant Linear Velocity) ora CAV (Constant Angular Velocity) odczytu danych, krotność szybkości odczytu
Formaty zapisu danych na dysku CD - stały sektor 2352 bajty
CD-ROM Mode 1 - 2048 danych, 288 korekcja błędów, 12 synchronizacja, 4 nagłówek
CD-ROM Mode 2 - 2336 danych, 12 synchronizacja, 4 nagłówek - do skompresowanych danych audio-video
CD-ROM XA/CD-I (Mode 2 Form 1) - 2048 danych, 280 korekcja błędów, 24 synchronizacja i nagłówek
CD-ROM XA/CD-I (Mode 2 Form 2) - 2324 danych, 28 synchronizacja i nagłówek - cyfrowe video
CD-DA (CD-Digital Audio) - całość do zapisu dźwięku
DVD (Digital Versatile Disk) - 4,7 do 17 GB danych - dwustronny i dwuwarstwowy zapis, ze zwiększoną gęstością (pity min. 0,4 mm, 0,74 mm odległość ścieżek) - w technice Audio - Video
Znacznie wrażliwsze niż zwykłe płyty CD-ROM. Tanie.
Standardy: DVD-R, DVD-RW, DVD+RW oraz w specjalnej obudowie DVD-ROM
Dalsza przyszłość: płyty nagrywane niebieskim laserem (pojemność rośnie ok. 10 razy) i płyty fluorescencyjne (pojemność ponad 100 GB).
CYBERSPACE czyli wirtualna rzeczywistość
Świat wirtualny - w odróżnieniu od TV - umożliwia rozglądanie się dookoła i poruszanie się, branie aktywnego udziału w wydarzeniach, daje wrażenie obecności w świecie wirtualnym
Sprzęt:
Hełm (HMD, Head Mounted Display) - dwa ekrany, słuchawki, interfejs przekazujący ruchy głowy do komputera - np. HMD Crystal Eyes (StereoGraphics Corp) - sześć stopni swobody ruchu, trzy kierunki (lewy-prawy, góra-dół, przód-tył) i trzy obroty w przestrzeni;
CAVE (jaskinia) - urządzenie projekcyjne
Rękawica danych (kombinezon) - urządzenie wejściowe przekazujące ruchy rąk (lub całego ciała) do systemu, czasami zaopatrzone w efektory dotyku
Wymagania hardware'owe - WYSOKIE - symulatory lotu, symulatory medyczne
Zastosowania - GRY, edukacja, medycyna - szkolenia, operacje i zabiegi chirurgiczne, archeologia i historia: rekonstrukcje starożytnych zabytków - modele Stonehenge; starożytnego Rzymu, Aten, model benedyktyńskiej bazyliki Cluny, technika - symulatory najróżniejszego rodzaju, sterowanie robotem na księżycu lub we wnętrzu wulkanu.
Projektowanie - projekty elementów np. pokoju mieszkalnego, zestawienie w całość tych elementów, etap projektowania konturowego a następnie - kolory, tekstury, światła, odbicia, cienie, refleksy, przejrzystość - rendering powierzchni elementów pokoju, zazwyczaj osiągany metodą śledzenia promienia - ray tracing.
Obliczenia jednego obrazu - długotrwałe
Tendencje rozwoju multimediów
PC, magnetowid, telefon, faks, telewizor, odtwarzacz CD.- zacieranie się różnic..
Wzrost pojemności sieci informatycznych - infostrada - 1000 Gb / s
Wzrost mocy obliczeniowej komputerów - co 18 miesięcy podwojenie możliwości
Wzrost pojemności nośników informacji
Doskonalenie metod kompresji dla mediów strumieniowych
Sterowanie głosem
Rozpoznawanie głosu (nauka języków obcych z automatycznym lektorem)
Teleobecność i teleimersja (wrażenie obecności) - wymaga obrazów z wielu kamer, udział wszystkich zmysłów - dotyku też
Zapachy z komputera (iSmell - DigiScents - pierwsze testy z 2000 roku - zapachy tworzą się w ciągu 4-6 sekund, trwają też 4-6 sek. Ok. 128 podstawowych kompozycji, dane do mieszania rzędu 1 KB, można wytworzyć tysiące zapachów)
Dotyk: zdalne wyczucie różnych substancji dotykiem
Obniżenie bariery komputer - niezaawansowany użytkownik
Wzrost dostępności do informacji
Czy będziemy umieli rozsądnie z tych możliwości skorzystać - pytanie otwarte
wąskie gardło multimediów - PRZECHOWYWANIE DANYCH
Dostępne urządzenia: HD, FD, ZIP-y, taśmy streamery, karty pamięci, CD, DVD...
FORMAT DANYCH JEST ZNACZNIE ISTOTNIEJSZY
OD MIEJSCA ICH SKŁADOWANIA
Wszystkie bity są takie same - różnica polega na wzorcu, w jakim zostały rozmieszczone
przechowywanie danych jest pamięciożerne - stąd konieczność kompresji danych - audio, obrazów nieruchomych jak i szczególnie - ruchomych, wideo
Standaryzacja formatów RIFF (Resource Interchange File Format) - MS i IBM
Na wzór PAL (paleta barw), RDIB (bitmapa niezależna od platformy), RMID (MIDI), RMMP (kino multimedialne), WAV (kształt sygnału audio)
samoopisująca się struktura plików, słowa kodowe (obraz, wideo, audio), bity organizacyjne danych, wiele różnych (samoopisanych) struktur danych w jednym pliku
Najważniejsza z punktu widzenia użytkownika, jest kompresja w czasie rzeczywistym
bezstratne
stratne - korzystając z tego, że w procesie przetwarzania cyfrowego obraz, dźwięk uzyskał reprezentację binarną, możemy w pewnym zakresie zmieniać dane bez utraty jakości wycinając część bitów odpowiadających fragmentom, których brak z uwagi na pewne cechy narządów wzroku i słuchu człowieka - nie będą zauważalne, lub będą widoczne w stopniu do przyjęcia.
Odwzorowanie koloru (color mapping) zmniejszenie liczby kolorów obrazu - inna głębia kolorów dla różnych rodzajów rysunków (las - zieleń, morze - niebieski...) - 256 barw wystarcza
Kwantowanie (odcinanie) - zastępowanie fragmentów obrazu pikselami o uśrednionej wartości (wada: brak ładnego i miłego dla oka przejścia kolorów)
Przycinanie - polega na uśrednieniu
Kwantowanie wektorowe - polega na uśrednianiu
Redukcja szybkości przesuwu (dla wideo) - z 25 kl/s - do 5-15 kl/s
Techniki transformacyjne - Podstawą jest transformata Fourier'a: rozkład informacji (o przebiegu w czasie) w postaci częstotliwościowej, DCT dyskretna transformata cosinusowa, transformata wavelet (zmniejsza pliki setki razy)
AUDIO
Dźwięki - mechaniczna (falowa) natura rozchodzenia się dźwięków w ośrodku sprężystym
częstotliwość 20 - 20 000 Hz, zakres ok. 10 oktaw
Natężenie dźwięku - odwrotnie proporcjonalne do kwadratu odległości
Ton dźwięku - harmoniczne (podstawowy i kilka wielokrotnych)
Odtwarzanie dźwięków - głośniki elektrodynamiczne (rola obudowy i przegrody w zestawie głośnikowym, subwoofer - głośnik (obudowa) dla najniższych częstotliwości,
Rola usytuowania zestawów głośnikowych w pomieszczeniu - tłumienie lub wzmacnianie niskich częstotliwości - zobrazowanie stereofoniczne dźwięku)
Mikrofony - Charakterystyki mikrofonów, Jakość dźwięku - zakres częstotliwości (50-15 000 Hz), kolor dźwięku
AUDIO - elektryczny równoważnik dźwięku, bez względu na system kodowania
analogowy - zazwyczaj napięcie proporcjonalne do natężenia dźwięku
cyfrowy - modulacja impulsowo-kodowa PCM - wartość liczbowa reprezentuje poziom dźwięku w danym momencie
kodowanie analogowo-cyfrowe i cyfrowo-analogowe -
częstotliwość próbkowania (sampling rate) i rozdzielczość (resolution)
jakość dźwięku:
częstotliwość próbkowania 8 kHz (telefon), 16 (komunikacja multimedialna), 22 i 32 (RTV cyfrowe), 44,1 (CD), 48 (magnetofony DAT, HDTV) 96 (DVD)
rozdzielczość - 8, 16 lub 32-bitowa
przepływowość - Bit Rate - liczba bitów opisująca 1 sekundę danych (dla MP3 standardowo 96 - 128 - 192 kbit/s)
Możliwości PC w zakresie audio
wytwarzanie, synteza dźwięków
przechwytywanie dźwięków ze świata zewnętrznego
miksowanie i edycja generowanych lub przechwyconych dźwięków
poprzez MIDI (Musical Instrument Digital Interface) sterowanie procesem wytwarzania dźwięków w innych urządzeniach
odtwarzanie całej zarejestrowanej kakofonii poprzez głośniki dowolnego rodzaju
karta dźwiękowa - zadania
konwersja analogowo-cyfrowa i cyfrowo-analogowa
synteza własnych dźwięków (niektóre)
miksowanie dźwięków
wzmacnianie
obsługa CD-ROM
obsługa portu MIDI (Musical Instrument Device Interface)
Kompresja audio - bardzo uciążliwa programowo
przy jakości CD stereo, dla próbkowania 44,1 kHz i 16-bitowej rozdzielczości
1 sekunda dźwięku wymaga ok.150 000 bitów (1 minuta - 10,5 MB)
MP3 - część standardu MPEG-1 warstwy 3, niezwykle rozpowszechniony, kompresja (stratna) rzędu kilkunastu, oparta o model psychoakustyczny, nowsze dyskmeny potrafią odtwarzać płyty CD-R i CD-RW z MP3. Jakość bliska CD wymaga strumienia 128 kbitów/sek, spotykane zakresy od kilkunastu kb/s (mowa, wiadomości strumieniowo, monofonicznie) do 256 kb/s (HI-FI stereo).
Kodowanie VBR (Variable Bit Rate) ze zmienną przepływowością daje nieco lepszą jakość przy tej samej wielkości plików.
Bitrate jakość dźwięku gatunek muzyki
poniżej 128 bardzo mocno zniekształcona, metaliczny przydźwięk
128 mocno zniekształcona dance, techno
160 dobra rock, elektroniczna
192 bardzo dobra, zbliżona do CD instrumentalna, poważna jazz
256 i więcej jakość CD muzyka poważna
MIDI - Musical Instrument Digital Interface
System sterowania do łączenia instrumentów elektronicznych
MIDI - sterowanie zewnętrznymi instrumentami muzycznymi - PC pełni rolę sekwensera - `dyrygenta' orkiestry
Analogia do zapisu nutowego - MIDI jest zapisem dla całej orkiestry, każdego instrumentu, głosu i dźwięku generowanego przez syntezator
OPROGRAMOWANIE „Multimedialne”
Programy do tworzenia i obróbki GRAFIKI 2D, 3D
Przeglądarki plików graficznych (i nie tylko) - Flash też!
Obróbka wideo
Odtwarzacze MP3
Programy do obróbki MP3
Programy do nagrywania TV na HD
Programy do nagrywania i renowacji nagrań z płyt analogowych i kaset na CD
Programy muzyczne MIDI - syntezatory
Programy do kopiowania DVD na CD (DivX)
Programy do nagrywarek
Programy do rozmów w sieci LAN / WAN
Programy do rozpoznawania tekstu OCR/ICR (Optical Charakter Recognition / Inteligent...)
Odtwarzacze DVD