23682

Dywergencja Kullbacka-Leiblera dana jest wzorem:

Ókl(p, q) = £>(*) !°S2

dla rozkładów dyskretnych, oraz

dla rozkładów ciągłych

W powyższej definicji przyjmuje się, że p reprezentuje dane rzeczywiste, zaś q teoretyczny model.

Entropia względna przyjmuje zawsze wartości nieujemne, przy czym 0 wtedy i tylko wtedy, gdy porównywane rozkłady są identyczne.

5.

Definicja intuicyjna:

Kod źródłowy to zapis programu komputerowego w formie czytelnej dla człowieka umożliwiający jego modyfikację i rozwój.

6.

Przykładowo przeładowanie operatorów przykładowo w cpp?? Bądź możliwość działania na symbolach w matlabie??

7. i 8.

Kod prefiksowy lub przedrostkowy, także bezprefiksowy - kod, w którym żadne ze słów kodowych nie jest przedrostkiem innego słowa; taki kod jest jednoznacznie dekodowalny. Dodatkowo każdy kod prefiksowy można reprezentować w formie drzew (dla kodów dwójkowych drzewo binarne).

Dzięki tej cesze kody są jednoznacznie identyfikowane, nie ma potrzeby wstawiania dodatkowych informacji np. o tym, gdzie kończy się słowo kodowe Gest to jednoznaczne) albo jaką ma długość (długość każdego słowa kodowego jest znana z góry). Stosując kody prefiksowe, można uzyskać maksymalny stopień upakowania danych w różnych metodach kompresji.

Dla przykładu weźmy kod niebędący prefiksowym: literze ’a’ odpowiada bit 0, literze 'b' odpowiada bit 1, zaś literze 'c' dwa bity 01 - kod litery 'a' jest prefiksem kodu litery 'c'. Przy takim przyporządkowaniu nie można jednoznacznie stwierdzić, co oznacza np. komunikat 0110 - może to być zarówno 'cba', jak i 'abba'.

Zmieniając kod na prefiksowy: 'a' - 0, 'b' -10, 'c' -11, ten sam komunikat ma jednoznaczną interpretację, tj. 'aca'.

9.

A'

Nierówność Krafta-McMillana jest warunkiem koniecznym i wystarczającym, który musi spełniać kod, aby był jednoznacznie dekodowalny. Dodatkowo jest to warunek konieczny, ale niewystarczający aby kod był dekodowalny bez opóźnień; tak więc istnieją kody które spełniają tą nierówność, lecz nie są jednoznacznie dekodowalne bez opóźnienia (są jednoznacznie dekodowalne ale z opóźnieniami).