Wykład 6

$$

H(X|Y)= - \sum_{i=1}^{M}\sum_{j=1}^{L}p(x_{i}y_{j})log(p(x_{i}|y_{j})) = \frac{1}{8}log(1)-\frac{1}{4}log(1)-\frac{1}{8}log(\frac{1}{5})-0log(0)-0log(0)-\frac{1}{2}log(\frac{4}{5}) = \frac{5}{8}log(5)-1

$$

$U(X|Y) = $$ -log(\frac{p(x_{i})}{p(x_{i}|y_{j})}) $$

I(X;Y) = E[U(X|Y)] - I Interpretacja

II - Informacje o X przekazaną o Y możemy także interpretować jako różnice między minimalną średnią liczbą pytań "tak lub nie" wymaganych do określenia wyniku jednej reazlizacji X zanim zaobserwowano Y, a minimalną liczbą pytań po obserwacji Y.

$$ I(X;Y) = H(X) - H(X|Y) = H(X|Y)= - \sum_{i=1}^{M}\sum_{j=1}^{L}p(x_{i}y_{j})log(p(x_{i})) + H(X|Y)= - \sum_{i=1}^{M}\sum_{j=1}^{L}p(x_{i}y_{j})log(p(x_{i}|y_{j})) = H(X|Y)= - \sum_{i=1}^{M}\sum_{j=1}^{L}p(x_{i}y_{j})log(\frac{p(x_{i})}{p(x_{i}|y_{j})}) $$

Właściwości I(X;Y):

1) H(X|Y) <= H(X)

2)I(X;Y) = H(X) - H(X|Y) => I(X;Y) => 0 $$ \Leftrightarrow $$ kiedy X i Y są niezależne

$$

\left.\begin{matrix}

H(X,Y) = H(Y) + H(X|Y)\\

I(X;Y) = H(X) - H(X|Y)

\end{matrix}\right\}

\Rightarrow I(X;Y) = H(X)+H(Y)-H(X,Y)

$$

A zatem z powyższego wzoru wynika (=>) I(X;Y) = I(Y;X)

Informacja o X przekazana przez Y jest taka sama jak informacja o Y przekazana przez X.

I(X;Y) = H(Y) - H(Y|X)

Niepewność łączna: H(X,Y) = $$ H(X|Y)= - \sum_{i=1}^{M}\sum_{j=1}^{L}p(x_{i}y_{j})log(p(x_{i}|y_{j})) $$

Informacja o X przekazana przez Y

Kodowanie w nieobecności szumu

Źródło wiadomości ---------- koder ---------- kanał ---------- Dekoder ---------- Odbiornik

Kanał bezszumowy zapewnia doskonałą transmisję

Nie ma problemów z korekcją głosów.

Jedyne zadanie to zmaksymalizowanie liczby wiadomości, które w zadanym ????? mogą być przesłane przez kanał.

Zmienne losowe X generują wiadomości, które mają być przesłane kanałem. Przyjmuje wartości od $x_{1}$,$…$,$x_{n}$ z prawdopodobieństwami $p_{1}$,…, $p_{n}$ (na przykład sym. ASCII) i z tych wartości tworzą ciągi. Takie ciągi nazywamy wiadomościami.

W celu poprawienia przesyłania symboli $x_{i}$, każdy $x_{i}$ może być wyrażony przez ciąg symboli ze zbioru {$a_{1}$,$…$,$$a_{D}$$} (np.. {$0$,$1$})

Ten zbiór nazywamy zbiorem liter ????? albo alfabetem kodowym.

Skończony ciąg utworzony z liter kodowych i przypisany danemu $x_{i}$, nazywamy słowem kodowym połączonym.

Zbiór wszystkich słów kodowych nazywamy kodem.

Słowa kodowe stowarzyszone z $x_{i}$ powinny być różne.

Przedmiotem kodowania bezszumowego jest ??????? ??????....

Jeśli słowo kodowe stowarzyszone z $x_{i}$ ma długość $n_{i}$, gdzie ???????, będziemy szukać kodów minimalizujących $\sum_{N}^{i=1}p_{i}n_{i}$

np.. x {p,q,r,s}

wiadomość: rppq

Litery kodowe (alfabet kodowy): {0,1}

$

\left.\begin{matrix}

p - \;\;\;\;0

q - \;\;100\\

r - \;\;101\\

s - \;\;\;\;11

\end{matrix}\right\} slowo\;kodowe

$

X:{1,2,3,4} z prawdopodobieństwem {$\frac{1}{2}$,$\frac{1}{4}$,$\frac{1}{8}$,$\frac{1}{8}$}