Multimedia, czyli systemy wielomodalne.

Co to takiego?

Multimedia: wszystko, co dowołuje się do różnych zmysłów, modalności, czyli róznych zposobów przyswajania infromacji.
Początkowo komputery pokazywały tylko teksty, później grafikę i teksty, teraz są multimedialne.
Systemy telekomunikacyjne i systemy informatyczne przesyłające dźwięk i obraz są multimedialne.

Klasyfikacja systemów wielomodalnych:

•          Systemy konwersacyjne: wideofonia, wideokonferencje, dźwięk, obraz, dane cyfrowe.

•          Systemy przesyłania wiadomości: elektroniczna poczta wideo.

•          Systemy udostępniania informacji: cyfrowa TV, satelitarna, kablowa i Internetowa, wideo na żądanie.

•          Interakcyjne systemy udostępniania informacji: ITV, Interakcyjna TV i interakcyjne strony WWW.

•          Systemy wyszukiwania informacji: wideotekst, serwery multimedialne WWW.

Multimedia w komputerach osobistych.
Najbardziej znany program: MS Windows Media Player 7 i 8:

•          pozwala na odtwarzanie plików filmowych, np. w formacie VCD, MPEG i .AVI (wideo i audio);

•          pozwala na odtwarzanie plików muzycznych WMA, MP3, MIDI, WAV (audio).

 

Zastosowania systemów wielomodalnych

Systemy wideokonferencji.

Przestrzeń komunikacyjna (media space), eksperymenty firmy Xerox z pracą grupową na większe odległości.

Rozpoznawanie głosu:
ASR, Advanced Speech Recognition, zamiana mowy na tekst.
TTS, Text to Speech, zamiana tekstu na mowę.
IVR, Interactive Voice Response i system @udioPortal głosowego sterowania aplikacjami.

Świat urządzeń CD i DVD

Tania technologia, wiele standardów nagrywania płyty CD i DVD o pojemnościach 0.5-20 GB.
Cyfrowe płyty Video CD, MP4 Video, DVD - najlepsza jakość.
DVD - najbliższa przyszłość, ale nagrywanie nadal drogie, 3 różne standardy.
Dalsza przyszłość: płyty nagrywane niebieskim laserem (pojemność rosnie <10 razy) i płyty fluorescencyjne (pojemność ponad 100 GB).

Multimedia na CD-ROMach:

•          wydawnictwa informacyjne: infopedia, explorapedia, encyklopedie;

•          programy wspomagające prace profesjonalne, słowniki;

•          gry.

 

 

 

Dźwięk

Przetworniki ADC (Analog to Digital, czyli „analogowe na cyfrowe");
Przetworniki DAC (Digital to Analog, czyli analogowe na cyfrowe).

Standardy zapisu dźwieku:

MIDI - Musical Instruments Digital Interface, końcówki *.MID, .MIDI, .RMI - syntezowane lub próbkowane, bez możliwości zapisu śpiewu, niewielkie pliki, mogą automatycznie wyświetlać partytury i łatwo je programować;
MOD - próbki dowolnych dźwięków, w tym głosu.

WAV - wave, bez kompresji, używane w Windows, ścieżki skopiowane z audio CD daje się zapisać w tym formacie za pomocą programów zwanych ripper.

MP3 - część standardu MPEG-2 warstwy 3, niezwykle rozpowszechniony, nowsze dyskmeny potrafią odtwarzać płyty CD-R i CD-RW z MP3.
Jakość bliska CD wymaga strumienia 128 Kbitów/sek, około 1 MB/minutę, spotykane zakresy od kilkunastu Kb/s (mowa, wiadomości strumieniowo, monofonicznie) do 256 Kb/s (wysoka jakość), stereofonicznie.
Kodowanie VBR (Variable Bit Rate) daje nieco lepszą jakość przy tej samej wielkości plików.
MP3Pro - nieco mniejsze pliki, lepsza jakość, ale mało rozpowszechniony.
VFQ - podobny do MP3, nieco lepsza kompresja ale mało rozpowszechniony.
OGG - używa zmiennego kodowania (VBR), nieopatentowany, wielokanałowy dźwięk przestrzenny.

Microsoft Windows Media Player/Encoder, formaty plików .ASF, .ASX, .WAX, .WMA, .WMV, .WVX, .WMP, .WMX
Standard kodowania audio i wideo zgodny z MPEG-4.
Windows Media Player/Encoder wersja 7 i 8 - doskonała jakość.
Pliki audio WMA mają 1/3 objętości MP3! Przy 48 Kb/s jakość WMA nie ustępuje MP3 przy 128 Kb/s.

Inne standardy: Macintosh AIFF, AIF, AIFC.
UNIX: .AU, .SND

Najbardziej popularny program do odtwarzania muzyki: Winamp.
Rozgłośnie internetowe przesyłają dźwieki w formacie MP3, RealAudio lub ASF.

Wymiana plików muzycznych (głównie MP3) przez Internet: programy P2P (peer-to-peer).
Wiele serwerów z muzyką MP3 mniej znanych wykonawców.

Multimedia Cards: pamięc na półprzewodnikowych kartach Flash Memory w różnych standardach.

Karty dźwiękowe:
Sound Blaster Live! (Creative Labs), 16-bitowy dźwięk cyfrowy, synteza WT (WaveTable), oparta na naturalnych próbkach dźwięku; doskonałe MIDI.
Sound Blaster Platinium - rozszerzona, Dolby AC 5.1

Archiwum MIDIfest (Sunsite): najnowsze przeboje, wszystkie utwory Beatlesów i dużo więcej!

Dolby Digital, DTS Digital Theater 5.1 ma 5 kanałów, potrzebne są 4 głośniki i jedna kolumna niskotonowa.
Standard dźwięku THX 5.1 - lepszy niż DD, ale mniej rozpowszechniony.
Kino używa Dolby Surround EX 7.1, 7 kanałów.
Inne standardy: Dolby Digital EX 6.1, DTS-ES 6.1

 

 

Cyfrowe wideo

Nośnik DVD, pliki z końcówką VOB.
Zapis w standardzie MPEG-2, zaszyfrowany, podział na strefy: USA -1, Euroazja - 2.
Hakerzy złamali sposób szyfrowania i powstała możliwość przegrywania plików VOB na dyski - darmowe rippery.
Dekodowanie MPEG-2 wymaga sporej mocy obliczeniowej (przynajmniej Pentium 2/400 MHz) lub wspomagania sprzętowego.
Karty dekoderów MPEG-2 można kupić do stacjonarnych komputerów PC i do notebooków; niektóre karty graficzne mają dekodery MPEG-2 lub przynajmniej funkcje wspomagające płynne wideo (motion compensation).
Na szybszych komputerach dobrze działają programy dekodujące MPEG-2.

Karty do nieliniowej cyfrowej obróbki obrazu:

•          analogowe - standard VHS, Video-8, złącze S-Video

•          cyfrowe - standard DV, 720 x 576 pikseli (tak jak DVD), złacze Firewire.

Są już kombinacje: karta graficzna + Tuner TV/Radio + karta cyfrowego wideo.

AVI - pojemny format, możliwe różne rodzaje kompresji.
Dwa typy AVI, nowszy Typ 1 i starszy Typ 2.

Format *.QT, QuickTime (Apple), dość popularny.
Format *.mov, obsługiwany przez QuickTime.

Formaty Microsoft: Video for Windows, rozwinęło się w Windows Media;

Kodeki: koder-dekoder, wtyczki do programów obsługujących różne sposoby kompresji wideo.
Cinepack - stary, często używany.
Sorenson Video - kodek wbudowany w Quick Time, pierwotnie do wideokonferencji, zmienna szybkość kodowania (VBR).
Real G2 with SVT (Scalable Video Technology), kodeki RealPlayer.
RealVideo, nowe, znacznie ulepszone kodeki RealPlayer.
DivX - darmowy kodek do kompresji MPEG-4; bardzo duży stopień kompresji (ok. 10x większy niż MPEG-2) przy dobrej jakości.
Windows Media MPEG4-v3, wersja Micorosft kodeka MPEG-4.
Liczne kodeki do wideokonferencji, np. MPEG-1, H.261, H.263 (max 352x288 pikseli), MS Screen V1 i inne.

Interlacing - klatki nieparzyste i parzyste zapisywane osobno, w efekcie mogą powstawać "ząbki" na liniach ukośnych; usuwanie tego efektu nazywa się "deinterlacing".
Tylko nowsze kodeki MPEG-2 i 4 umożliwiają kodowanie obrazu o większej rozdzielczości.
Do odtwarzania MP4 potrzebne jest Pentium III
Informacje o MPEG-4 i kodekach: www.mp4.com.pl

Programy do edycji wideo

Adobe Premiere - edycja wideo wszystkich standardów, dobre ale drogie.
MGI Videowave - tanie i proste w obsłudze, dostępne 30-dniowe wersje darmowe, ale brakuje np. funkcji deinterlace.
Ulead VideoStudio, Ulead Media Studio Pro - wersje sharewarowe.
Asymetrix Digital Video Producer, Pinnacle Systems DV Studio i wiele innych.

 

 

Kilka informacji technicznych

Formaty zapisu wideo:

•          VCD, Video Comapct Disc, jakość podobna do VHS, dla PAL to 352 x 288, oparte na MPEG-1

•          SVCD, Super VCD - głównie w Azji, 480 x 576 punktów, na CD-R

•          DV - Digital Video, rozdzielczość 720 x 576 p, taśmy mini DV, kamkodery.

ASF, Advanced Streaming Format, Microsoft, integruje GIF, WAV, AVI, optymalizuje przesyłanie danych, format popierany przez Microsoft, Adobe i wielu innych;
Kodeki MPEG-4 (w szczególności DivX ;-), pozwalają na kompresję filmów DVD na CD-R z niewielką utratą jakości - jak MP3 dla dźwięku.
Rozdzielczość filmów DVD i standardu DV: 720x576 pikseli.
Rozdzielczość HDTV: 1920 x 1080 pikseli, aspekt 16:9

Kodak Photo CD - kopiowanie skanowanych filmów i slajdów na CD, niezbyt rozpowszechnione.

Media strumieniowe w Internecie.
Przesyłanie strumienia danych, który jest jednokrotnie odtwarzany, w czasie rzeczywistym, nie zapisując dużych plików na dysku.

•          RealAudio, RealVideo

•          MP3 Shoutcast

•          ASF

•          Flash i inne technologie dodające animację i grafikę do muzyki.

 

 

 

Cyberspace czyli wirtualna rzeczywistość

Sprzęt: stereoskopowy obraz oglądać można przy pomocy hełmu (HMD, Head Mounted Display) lub urządzenia projekcyjnego określanego jako CAVE (jaskinia).

HMD: Crystal Eyes (StereoGraphics Corp);
i-glasses - ale do czytania sie nie nadają.

Sześć stopni swobody ruchu, trzy kierunki (lewy-prawy, góra-dół, przód-tył) i trzy obroty w przestrzeni; Spaceball (Spacetec IMV), zawiera kulę, którą można poruszać w przestrzeni; CyberMan 3D Controller (Logitech), rodzaj myszy na drążku; urządzenia śledzące ruch człowieka: FasTRAK (Polhemus), zestaw czujników wysyłających sygnały radiowe; Flock of Birds (Ascension Technology Corporation) wykorzystuje czujniki magnetyczne; klawiatura BAT Personal Keyboard (Inforgrip) trzymana w jednym ręku.

Wirtualna Rzeczywistość !

Język i modele VRML, konstrukcja wirtualnych światów.

Zastosowania:
Wirtualna rzeczywistość w medycynie: szkolenie, operacje i zabiegi chirurgiczne.
Archeologia i historia: rekonstrukcje starożytnych zabytków; modele Stonehenge; starożytnego Rzymu, Aten, model benedyktyńskiej bazyliki Cluny;
Technika: sterowanie robotem na księżycu lub we wnętrzu wulkanu.

Augumented reality - rozszerzona rzeczywistość, czyli elementy wirtualne dodane do naturalnych

Uproszczone VR: zdjęcia 360 stopni.

 

 

Tendencje rozwoju multimedia

Multimedia Greeting Cards - przesyłanie kart dźwiekowo-graficznych, z dodatkami wideo.
Szybsze i lepszej jakości obrazy i dźwiek przez Internet: coraz lepsze formy kompresji dla mediów strumieniowych, kompresja falkowa i fraktalna.
Cyfrowe kina, filmy przesyłane światłowodami.
Multimedialny Superkorytarz - projekt Malezyjski stworzenia dostępu do infromacji i usług przez Interent.
Teleobecność i teleimersja: wrażenie obecności, wymaga obrazów z wielu kamer, wrażeń 3-wymiarowych, udziału wszystkich zmysłów.

Pozostałe zmysły:

Zapachy z komputera! Pierwsze testy w 2000 roku.
Scent Dome, firmy Trisenx, zapachy tworzą się w ciągu 4-6 sekund, trwają też 4-6 sek.
Ok. 128 podstawowych kompozycji, dane do mieszania rzędu 1 KB, można wytworzyć tysiące zapachów z 20 podstawowych kanałów.

Dotyk: zdalne wyczucie różnych substancji dotykiem!

---