Strumienie wideo  charakterystyki, kodowanie, kontenery
TECHNOLOGIA INFORMACYJNA
GRAFIKA 3D A STRUMIENIE WIDEO
Òð Grafika trójwymiarowa pozwala tworzyć obrazy
ruchome pseudorealistyczne wykorzystujÄ…c w
tym celu możliwości współczesnych kart
graficznych - posługuje się opisem i manipulacją
obiektami świata 3D który następnie jest
wyświetlany w projekcji płaskiej - przy
odpowiednio szybkich komputerach tworzÄ…c
wrażenie płynnej sekwencji wideo
Òð StrumieÅ„ wideo korzysta z klasycznej techniki
projekcji poklatkowej całej sceny - każda klatka
musi być w odpowiedni sposób zapisana aby
póz
niej możliwe było jej pokazanie
WPROWADZENIE
Òð PostÄ™p technologiczny i dążenie do perfekcji w
multimediach owocuje dziesiÄ…tkami nowych
formatów i standardów cyfrowego wideo
Òð Otrzymujemy coraz pojemniejsze noÅ›niki
danych, a grupy specjalistów w dziedzinie
przetwarzania sygnałów dostarczają coraz
wydajniejsze algorytmy kompresji obrazu i
dz
więku
Òð Pewne idee pomimo zmiany technologii i
stałego postępu w dziedzinie multimediów nie
uległy jednak większym zmianom
WPROWADZENIE
Òð Ostatnie lata rozwoju multimediów to
prawdziwy boom w zakresie stopnia kompresji
i jednocześnie zwiększania jakości strumieni
wideo
Òð Do niedawna królujÄ…cy w plikach AVI format
DivX został praktycznie zdeklasowany przez
prawie 100% wzrost kompresji osiągnięty w
plikach RMVB (przy porównywalnej jakości)
Òð Nic nie wskazuje na to iż osiÄ…gniÄ™to kres
możliwości technicznych budowy
wydajniejszych i jakościowo lepszych
systemów
PRZEGL
D ISTNIEJ
CYCH FORMATÓW
KODOWANIA WIDEO
Òð UstawiajÄ…c chronologicznie najważniejsze
historycznie formaty uzyskujemy listę którą
otwiera format MPEG-1 (1991r), następnie
mamy:
Éð QuickTime (1991)
Éð MPEG-2 (1994)
Éð MPEG-4 (1998)
Éð DiviX (1998)
Éð Windows Media (1998)
Éð RealMedia (1999)
Éð XviD (2001)
Éð Flash Video (2001)
Éð AVC (2003)
FORMAT KODOWANIA MPEG-1
Òð TwórcÄ… caÅ‚ej rodziny formatów kodowania MPEG
jest Moving Picture Experts Group.
Òð Opracowany w 1991 r. wykorzystywany jest do
kompresowania popularnych do dzisiaj płyt VCD
Òð DoczekaÅ‚ siÄ™ dwóch implementacji (VCD 1.1 i 2.0).
Nowsza obsługuje system PAL, same ścieżki audio
oraz albumy zdjęć, oferuje także interaktywną
obsługę i lepszą jakość dz
więku
Òð StrumieÅ„ wideo charakteryzuje siÄ™ jakoÅ›ciÄ…
porównywalną z filmami VHS oraz dz
więkiem
stereofonicznym o jakości zbliżonej do CD-Audio
FORMAT KODOWANIA MPEG-1
Òð Jedna pÅ‚yta CD dziÄ™ki temu kompresorowi jest w
stanie zmieścić ok. 70 minut materiału wideo
Òð Nieskompresowana sekunda materiaÅ‚u filmowego
w rozdzielczości PAL z towarzyszącym jej
dz
więkiem wymaga ok. 30 MB przestrzeni
dyskowej - nawet dla współczesnych systemów
komputerowych jest do niebagatelna wartość
Òð Kompresor MPEG-1 pozwala ograniczyć ten
strumień do ok. 200 kB - nawet historyczne
systemy komputerowe mogły sobie z takim
strumieniem danych poradzić
MPEG-1  METODA KODOWANIA
Òð KoÅ„cowy efekt dziaÅ‚ania kompresora to zÅ‚ożenie kilku
różnych technik kodowania zarówno w zakresie operacji
na obrazie jak i dz
więku:
Òð Pierwsza to podpróbkowanie chrominancji
(czyli zubożenie informacji o kolorze w kodowanym
strumieniu), której zmiany są słabo zauważalne dla oka
ludzkiego.
Y odpowiada obrazowi w skali szarości (czarno białemu) a U i V barwom i nasyceniu.
Òð Algorytm nazywany transformatÄ… cosinusowÄ… pozwala,
po podziale klatek na bloki 8x8, opisać je znacznie
krótszą sekwencją danych
MPEG-1  METODA KODOWANIA
Òð Głównym procesem kompresora MPEG jest
kompensacja ruchu, która dzieli klatkę na bloki
16x16 i względem klatki kluczowej (pierwszej z
kompresowanej sekwencji podobnych do siebie
klatek) uzupełnia ich danymi kolejne podobne
bloki następnej klatki
Òð Kompresja dz
więku bazuje na usunięciu słabo
słyszalnych, wysokich częstotliwości oraz wycięciu
sygnałów o niskiej amplitudzie, które poprzedzają
lub następują po sygnałach o wysokiej amplitudzie
MPEG-1  METODA KODOWANIA
Òð W przypadku sygnaÅ‚u stereofonicznego
upraszczana jest też różnica między kanałami
Òð Tak przeksztaÅ‚cony strumieÅ„ w kolejnym etapie
kodowania zostaje skompresowany poznanym
wcześniej algorytmem Huffmana (sekwencje
pojawiające się najczęściej kodowane są z
wykorzystaniem krótkich symboli binarnych)
Òð ZaletÄ… algorytmu jest niski poziom skomplikowania
i niewielkie wymagania, wadą słaba jakość
końcowego strumienia wideo.
FORMAT KODOWANIA MPEG-2
Òð Opracowany w 1994 r. jako rozszerzenie
MPEG-1 stał się w krótkim czasie standardem
dla telewizji cyfrowej DVB oraz, po pewnych
modyfikacjach, dla filmów zapisywanych na
płytach standardu DVD
Òð Lepszy stopieÅ„ kompresji, mniejsze straty
jakości i większa pojemność płyty DVD
umożliwiły kompresowanie obrazów w pełnej
rozdzielczości PAL lub NTSC
FORMAT KODOWANIA MPEG-2
Òð Zdecydowanie wzrosÅ‚y wymagania w zakresie
przepustowości. W wypadku MPEG-1 było to tylko
1,5 Mb/s, MPEG-2 wymaga już 10,08 Mb/s
Òð TowarzyszÄ…cy obrazowi dz
więk charakteryzuje się
większą częstotliwością próbkowania dorównującą
magnetofonom cyfrowym
Òð Standard DVD-Video umożliwia osadzenie nawet
do sześciu ścieżek dz
więkowych oraz list
dialogowych w wielu językach.
FORMAT KODOWANIA MPEG-2
Òð Format MPEG-2 trafiÅ‚ też na standardowe pÅ‚yty CD
i znany jest pod nazwÄ… Super Video-CD (SVCD)
Òð Obraz kompresowany przez kodek ma w tym
wypadku rozdzielczość 480x480 punktów dla
NTSC i 480x576 punktów dla standardu PAL
Òð Wymagana przepustowość oscyluje w granicach
ok. 2,7 Mb/s (razem z dz
więkiem)
Òð Na pÅ‚ycie SVCD można zapisać nawet 60minut
materiału, możliwe jest osadzenie w strumieniu
dwóch ścieżek audio oraz dodanie do filmu
czterech różnych list dialogowych
& A FORMAT KODOWANIE MPEG-3& ?
Òð Nigdy nie wykroczyÅ‚ poza fazÄ™ projektu
Òð Stowarzyszenie MPEG (Moving Picture Experts
Group) wycofało się z opracowania jego
implementacji. Miał być wykorzystany przy
realizacji telewizji dużej rozdzielczości (HD TV),
jednak w tej roli doskonale sprawdził się jego
starszy brat - MPEG-2
FORMAT KODOWANIA MPEG-4
Òð Opracowany w 1998 roku MPEG-4 jest czymÅ›
więcej niż tylko rozwinięciem dwóch poprzednich
kompresorów.
Òð Bazuje na elementach obrazu naturalnego,
definiujÄ…c je jako obiekty AVO (Audio Visual
Objects). Dzięki podziałowi treści obrazu na
obiekty możliwa jest implementacja usług
manipulujących atrybutami obiektów (np. większa
przepustowość dla obiektów postaci, a mniejsza
dla tła). Dotyczy to również towarzyszącego filmowi
dz
więku AAC (Advanced Audio Coding).
FORMAT KODOWANIA MPEG-4
Òð Implementacja MPEG-4 obejmuje opis jÄ™zyka
VRML (Virtual Reality Modeling Language)
Òð Kodek wspiera ochronÄ™ praw autorskich i oferuje
szeroki przedział przepustowości - od 64 Kb/s do
10 Mb/s, co rozszerza horyzont jego zastosowań
Òð W rzeczywistoÅ›ci niewiele z możliwoÅ›ci bardzo
elastycznego MPEG-4 jest wykorzystywanych
Òð Kompresor doczekaÅ‚ siÄ™ innych implementacji pod
powszechnie rozpoznawanymi nazwami DivX i XviD
FORMAT KODOWANIA MPEG-4  DIVIX
Òð Format DivX powstaÅ‚ w 1998 roku i byÅ‚ pirackÄ…
wersjÄ… kodeka MPEG-4 firmy Microsoft
Òð Francuz Jerome Rota zÅ‚amaÅ‚ jego oryginalny kod,
umożliwiając wykorzystanie kontenera AVI, a nie
jak w oryginale ASF, do skompresowanych
strumieni.
Òð Tak narodziÅ‚ siÄ™ DivX ;-) 3.11 oraz moda na
konwersję filmów z płyt DVD do plików AVI, które
można zmieścić (wraz z dz
więkiem w formacie
MP3) na standardowej płycie CD i to z jakością
nieznacznie ustępującą oryginałowi
FORMAT KODOWANIA MPEG-4  DIVIX
Òð W 2000 roku Rota zaÅ‚ożyÅ‚ wÅ‚asnÄ… firmÄ™ i
skomercjalizował kompresor
Òð Pięć lat póz
niej zaprezentowana została nowa
wersja - DivX 6.0. Od tej pory kodek nie jest
typowym kompresorem do plików AVI, a platformą
podobnÄ… do MPEG-2.
Òð Umożliwia tworzenie interaktywnych menu,
dodawanie list dialogowych w formacie XSUB, kilku
ścieżek audio, a także podział filmu na sceny oraz
przechowywanie innych metadanych w pliku.
FORMAT KODOWANIA MPEG-4  XVID
Òð Rozpowszechnienie siÄ™ kompresora DivX, a
następnie jego komercyjny charakter zaowocowały
próbami stworzenia analogicznego kompresora na
licencji GNU GPL (GNU -rekurencyjny akronim od
GNU's Not UNIX, GPL-General Public Licence).
Òð Pierwsze próby implementacji nie powiodÅ‚y siÄ™.
Òð Dopiero w roku 2001, kiedy projekt DivX rozgaÅ‚Ä™ziÅ‚
się, powstał oparty na kodzie z
ródłowym
DivX-a 4.0 kodek nazwany anagramem swojego
poprzednika - XviD
FORMAT KODOWANIA MPEG-4  XVID
Òð Film wideo jest sekwencjÄ… obrazów zwanych ramkami. W
standardzie telewizyjnym PAL w sekundzie przesyłanych
jest 25 ramek obrazu
Òð Enkodery MPEG zapisujÄ… takie zbiory klatek w pakietach
nazywanych Group of Pictures (GOP). Na jednÄ… GOP
składa się zazwyczaj od 12 do 15 ramek
Òð Enkoder MPEG dzieli każdÄ… ramkÄ™ na makrobloki i dla
każdego z nich wyznacza wartości koloru oraz jasności
zapisywane w kilku blokach. Kodowanie informacji
zawartych w każdym bloku odbywa się z wykorzystaniem
technik intra- i interkodowania
FORMAT KODOWANIA MPEG -
INTRAKODOWANIE
Òð Pierwsza ramka, zwana kluczowÄ… (Intra Frame), w
pakiecie GOP zawsze podlega intrakodowaniu. Oznacza
to, że enkoder, podobnie jak w przypadku kompresji
JPEG, wykonuje przekształcenia wyłącznie na bazie
informacji zawartych w tej ramce.
Òð Kodowanie odbywa siÄ™ za poÅ›rednictwem dyskretnej
transformaty cosinusowej (DCT), która oblicza rozkład
częstotliwości odpowiadający obrazowi. Następnie w
wyniku kwantyzacji wartości poszczególnych częstości
zaokrąglane są do liczb całkowitych, przy czym w
obszarze wysokich częstotliwości część wartości jest
usuwana. Otrzymany w ten sposób zbiór wartości może
być póz
niej bezstratnie skompresowany
FORMAT KODOWANIA MPEG -
INTRAKODOWANIE
Òð W każdej grupie GOP wystÄ™puje tylko jedna ramka
kluczowa (I-Frame). Wszystkie pozostałe ramki
pośrednie (Predicted- i Bidirectional-Frame) są
interkodowane
Òð Oznacza to, że algorytm kompresji ramek P i B
wykorzystuje informacje z poprzednich lub z następnych
obrazów. Różnice pomiędzy ramkami wyrażane są za
pośrednictwem wektorów przesunięcia. Wektory
przesunięcia ramek P opisują zmiany w stosunku do
poprzedniej ramki I-Frame. Z kolei ramki B obliczane sÄ…
na podstawie informacji pochodzących z wcześniejszych
ramek I i P oraz z póz
niejszych ramek P
FORMAT KODOWANIA REALVIDEO
Òð Nazwa przypisywana jest caÅ‚ej linii produktów firmy
RealNetworks, używanych do dekompresji
materiałów transferowanych  na żywo przez
Internet.
Òð Firma wypuÅ›ciÅ‚a na rynek swój pierwszy
dekompresor w 1997 roku pod nazwÄ… RealVideo7,
który bazował na kodeku H.263. Obecna wersja
RealVideo 10 jest oparta na technologii Helix.
Òð W miÄ™dzyczasie powstaÅ‚ dekoder o zmiennej
przepustowości (VBR - Variable Bit Rate ), jednak
słabo nadawał się on do strumieniowania poprzez
Sieć
FORMAT KODOWANIA REALVIDEO
Òð Nowym formatem zainteresowali siÄ™ jednak
amatorzy filmów
Òð DziÄ™ki jego ogromnym możliwoÅ›ciom na
dyskach twardych i płytach CD (via Internet
naturalnie) zagościły pliki z rozszerzeniem
RMVB (Real Media Variable Bitrate)
Òð Można przy jego pomocy umieÅ›cić na
standardowej płycie CD nie jeden, ale dwa filmy
i to z jakością dorównującą różnym wariantom
formatu MPEG-4
FORMAT KODOWANIA WINDOWS MEDIA
Òð Jest przykÅ‚adem licznej rodziny zamkniÄ™tych
kompresorów giganta z Redmond
Òð Taki stan rzeczy utrzymywaÅ‚ siÄ™ w przypadku
standardów Windows Media 7 i 8 - kodeków
stworzonych do obsługi strumieni wideo przy
niskich przepustowościach, wykorzystywanych
głównie do przesyłania filmów przez Sieć
Òð W roku 2003 pojawiÅ‚ siÄ™ Windows Media 9,
którego możliwości nie ograniczają się do przesyłu
obrazu przez Internet, ale wspierają też
technologie HD TV i system zarzÄ…dzania prawami
cyfrowymi DRM (Digital Rights Management).
FORMAT KODOWANIA WINDOWS MEDIA
Òð Aby cieszyć siÄ™ zaletami telewizji HD, potrzebny
jest wydajny komputer z procesorem taktowanym
zegarem min. 2,2 GHz
Òð Popularnym kontenerem multimedialnym dla
strumieni WMV (Windows Media Video) z
towarzyszÄ…cym dz
więkiem WMA (Windows Media
Audio) jest format ASF, czyli Advanced Systems
Format (do niedawna Advanced Streaming Format)
Òð W odróżnieniu od kompresorów Windows Media
specyfikacja ASF została udostępniona.
FORMAT KODOWANIA WINDOWS MEDIA
Òð TowarzyszÄ…cym filmom kompresor WMA (Windows
Media Audio) w zamierzeniach autorów miał być
konkurencjÄ… dla powszechnego standardu MP3
ale nie mogąc z nim skutecznie konkurować
rozwijany jest wyłącznie w kierunku obsługi
strumieni wideo.
Òð Standard WMA doczekaÅ‚ siÄ™ już czterech wersji
rozwojowych - ostatnia oznaczona numerem 10
jest bardzo zaawansowanym narzędziem
oferującym dużo większe od swoich poprzedników
możliwości - niestety nie jest już z nimi zgodna
programowo
STANDARDY H.264 I X.264
Òð Historycznie prace nad standardem rozpoczęły w
2003r. dwie organizacje ITU-T (International
Telecommunication Union - Telecommunication
Standardization Sector) Video Coding Group oraz
ISO/IEC (/International Electrotechnical
Commission) Moving Picture Experts Group Å‚Ä…czÄ…c
siÄ™ w ramach projektu w Joint Video Team (JVT)
Òð Ze strony MPEG kodek nosi nazwÄ™ MPEG-4 Part
10 ze strony ITU-T nazwany jest jako H.262 sÄ…
również używane nazwy alternatywne AVC
(Advanced Video Coding) i X.264 (wersja free)
STANDARDY H.264 I X.264
Òð Algorytm H.264 dysponuje technikami
wprowadzonymi w standardach MPEG-2 i MPEG-4,
jednakże w wersji bardziej rozwiniętej niż w
koncepcjach pierwotnych oferuje 40-procentowÄ…
redukcję wielkości strumienia w stosunku do
standardu DivX.
Òð H.264 dzieli obraz na mniejsze elementy i
wykorzystuje zmienne wielkości bloków oraz
wektory przesunięcia. Pozwala to uzyskać znacznie
lepszą jakość obrazu przy takiej samej wielkości
danych. Korzyści te okupione są większymi
wymaganiami sprzętowymi (3GHz!)
STANDARDY H.264  INTRAKODOWANIE
Òð Operacje intrakodowania dla luminancji
wykonywane sÄ… na blokach o rozmiarze 454
punkty. Pozwala to na dokładniejsze odwzorowanie
niewielkich detali obrazu. Dzięki temu H.264
zapobiega na przykład powstawaniu
charakterystycznych zniekształceń na krawędziach
liter.
Òð Dla fragmentów obrazu pozbawionych wysokich
częstotliwości, a więc obszarów o jednorodnym tle
z niewielką liczbą detali, enkoder H.264 może
zwiększyć rozmiar bloku do 16516.
STANDARDY H.264  INTRAKODOWANIE
Òð Podczas interkodowania rozmiary bloków
zmieniajÄ… siÄ™ w zakresie od 16516 do 454. Dla
bloku o rozmiarze 858 enkoder może wprowadzić
dalszy podział na bloki o wielkości 454 punkty.
Òð NajważniejszÄ… zaletÄ… wynikajÄ…cÄ… z H.264 jest
możliwość użycia przez enkoder do 16 wektorów
przesunięcia dla każdego makrobloku (w
przypadku bloków o rozmiarze 454). Dzięki temu
zmiany pomiędzy poszczególnymi obrazami mogą
być opisane znacznie dokładniej za pomocą
wektorów przesunięcia.
STANDARDY H.264  PREDYKCJA
WIELORAMKOWA
Òð Enkoder H.264 nie musi tworzyć wektorów
przesunięcia bazując na informacjach
pochodzÄ…cych tylko z jednej ramki (poprzedniej lub
następnej), ale może do tego celu wykorzystać
dowolnÄ… liczbÄ™ ramek.
Òð Możliwe jest wyznaczanie wektorów przesuniÄ™cia
w stosunku do ramek typu B, czego nie potrafiÄ…
robić enkodery MPEG-2 i MPEG-4. Efektem jest
dalszy wzrost stopnia kompresji, ponieważ
wszystkie ramki mogą być ramkami odniesienia
wykorzystywanymi do tworzenia wektorów
STANDARDY H.264  PREDYKCJA
ĆWIERĆPIKSELOWA
Òð W wielu sekwencjach poÅ‚ożenie obiektów w
kolejnych ramkach prawie siÄ™ nie zmienia. Aby
możliwie najdokładniej odzwierciedlić te
minimalne zmiany, enkoder MPEG stosuje
technikę Sub Pixel Interpolation. Dzięki niej
wektory przesunięcia nie muszą operować na
liczbach całkowitych.
Òð Najnowsze kodeki MPEG-4 - takie jak DivX -mogÄ…
opcjonalnie działać z dokładnością do jednej
czwartej piksela, natomiast standard H.264
zawiera zintegrowanÄ… funkcjÄ™ Quarter Pixel
Prediction.
QUICKTIME FIRMY APPLE
Òð PoczÄ…tki QuickTime'a siÄ™gajÄ… 1991 roku, kiedy to
pojawiła się na rynku wersja 1.0 zintegrowana z
systemem Macintosh
Òð Kontener multimedialny MOV zawiera dane
skompresowane kodekami firmy Apple (Road
Pizza), SuperMath (Cinepak), Sorenson (SVQ),
MPEG (MPEG-2, MPEG-4, H.264).
Òð DziÄ™ki nowym kompresorom typu AVC czy H.264
QuickTime wspiera HD DVD.
Òð Oferuje możliwość stosowania dz
więku
wielokanałowego 5.1