Entropia łączna - /joint entropy/ - dla dwóch dyskretnych zmiennych losowych X, Y;

średnia długość słowa potrzebnego dla przekazanie ich wartości

H(X,Y)=ExEy p(x,y)logp(X,Y)

Entropia względna : H=H(X) / Hmax [entropia marginalna/entropia max]

Informacją wzajemną zmiennych A i B nazywamy wartość I(A;B)=H(A)+H(B)-H(A,B) .

Powyższą definicję łatwo zrozumieć w odniesieniu do Gry w 20 pytań. Przypuścmy, że mamy zidentyfikować obiekt, który jest parą (a,b), gdzie a i b są wartościami zmiennych losowych A i B.

Gramy w dwie niezależne gry „pytania o a” i „pytania o b” (co odpowiada równości H(A)+H(B)).

Jeśli A i B są zależne, możemy wykorzystać tę wzajemną informację do zmniejszenia liczby pytań.

Informację warunkowana przez C :

I(A;B|C)=H(A|C)+H(B|C) - H(A,B|C)=H(A|C)-H(A|B,C),

gdzie H(A,B|C)=H(A|B,C)+H(B|C)

Proces Markowa - ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego.

Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów.

Są ciągiem X1, X2, X3, ... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje Xn to stany w czasie n.

Jeśli rozkład warunkowy Xn+1 jest funkcją wyłącznie zmiennej Xn:

to mówimy, że proces posiada własność Markowa.

Pierwsze Twierdzenie Shannona - dla każdej skończonej przestrzeni probabilistycznej S i

.

Dla danego kodu
, średnią długość kodu definiujemy jako

Dla danego S i parametru
niech
będzie minimum ze wszystkich
dla dowolnego kodu

Kanałem komunikacyjnym
nazywamy trójkę:

• skończony zbiór
  symboli wejściowych

• skończony zbiór
  symboli wyjściowych

• mapowanie
  określające dla każdej pary (a,b) prawdopodobieństwo
  zamiany symbolu a na B, spełniające warunek:

Zmienne losowe A i B o wartościach odpowiednio z
i
stanowią parę wejście-wyjście dla kanału
, jeśli dla dowolnych

Kanał taki możemy zobrazować jako

Możemy od razu zauważyć, że

A więc rozkład (A,B) jest jednoznacznie wyznaczony przez A (dla ustalonego
). W szczególności odpowiednie B zawsze istnieje i jest zdefiniowane jako

Wiedząc to, można bezpośrednio policzyć
,
,
itp. (w zależności od
i A).

Pojemność kanału - określa maksymalną szybkość transmisji informacji

Kod - jest zbiorem wszystkich słów kodowych dla znaków (komunikatów) jakie dane źródło może wytworzyć. Liczba bitów występujących w słowie kodowym jest nazywana długością słowa kodowego

Kanał binarny:

• Wejście X ~ {0,1}

• Wyjście Y -> 0->1 oraz 1->0 z prawdopodobieństwem p

---