Egzamin 2014

background image

Transmisja w binarnym kanale symetrycznym

Wartości (0, 1) zmiennej X pojawiają się na wejściu binarnego kanału syme-

trycznego z prawdopodobieństwami { α , 1−α }. Kanał przekłamuje te wartości
z prawdopodobieństwem µ (zob. rys).

1

0

1

0

X

Y

µ

µ

1

− µ

1

− µ

Z rysunku znajdujemy rozkład prawdopodobieństwa warunkowego P (Y |X):

X

|Y

0

1

0

1 − µ

µ

1

µ

1 − µ.

Korzystając ze wzoru p(y, x) = p(y|x)p(x) obliczamy rozkład prawdopodobień-
stwa łącznego P (Y |X):

X

|Y

0

1

0

α

(1 − µ)

αµ

1

(1 − α)µ

(1 − α)(1 − µ)

P

(Y )

α

(1 − µ) + (1 − α)µ

αµ

+ (1 − α)(1 − µ)

Sumując w kolumnach po wartościach zmiennej X dostajemy rozkład prawdo-
podobieństw zmiennej Y : P (Y ) = (1 − µ) + (1 − α)µ, αµ + (1 − α)(1 − µ)}.
Aby uniknąć operowania na długich, nieprzyjemnych wzorach i stowarzyszo-
nym z tym większym prawdopodobieństwem popełnienia błędu wprowadzamy
oznaczenie s = α + µ − 2αµ. Wówczas P (Y ) = {s, 1 − s} i od razu dostajemy
niepewność związaną z tą zmienną:

H

(Y ) = [s log s + (1 − s) log(1 − s)] = H(s)

. Niepewność warunkową H(Y |X) wyliczamy ze wzoru:

H

(Y |X) = P (X = 0)H(Y |X = 0) + P (X = 1)H(Y |X = 1)

= α[(1 − µ) log 1 − µ − µ log µ] + (1 − α)[−µ log µ − (1 − µ) log 1 − µ]

= (1 − µ) log 1 − µ − µ log µ = H(µ).

Policzmy do kompletu niepewność źródła:

H

(X) = [α log α + (1 − α) log (1 − α)] = H(α).

Jak widać, niepewność źródła zależy tylko od prawdopodobieństw pojawiania
się jego symboli, niepewność warunkowa zależy tylko od właściwości kanału, a
niepewność związana ze zmienną Y , tj. z obserwacją symboli na wyjściu kanału,
zależy zarówno od prawdopodobieństw symboli ze źródła, jak i od właściwości
kanału.

background image

Znając H(Y ) i H(Y |X) możemy policzyć informację wzajemną miedzy wyjściem
i wejściem kanału:

I

(X; Y ) = H(Y ) (Y |X) = H(s) − H(µ).

Aby stąd wyznaczyć przepustowość kanału, musimy znaleźć maksimum tego
wyrażenia ze względu na rozkłady prawdopodobieństw ze źródła. Od α zależy
tylko H(s) i wiemy, że przyjmuje wartość maksymalną równą jedności przy
s

=

1
2

. Widzimy więc, że przepustowość symetrycznego kanału binarnego wynosi

C

= 1 − H(µ)

i jest osiągana przy

1
2

= α + µ − 2αµ lub 2α(1 2µ) = 1 2µ.

Stąd dostajemy α =

1
2

. Zatem zgodnie z oczekiwaniami widzimy, że przepusto-

wość kanału symetrycznego jest osiągana przy jednorodnym rozkładzie prawdo-
podobieństw symboli ze źródła.

2


Wyszukiwarka

Podobne podstrony:
egzaminA06 2014 08 01 operator urzadzen przemyslu chemicznego 5str
egzamin 2014
derma egzamin 2014 pytania zebrane by tidi 1
Immunologia egzamin 2014 I termin
Mikrobiologia egzamin 2014, Egzaminy, Mikrobiologia 2014
lista chorób drzew egzamin 2014.VI
Egzamin 2014
MT-II-Zadania-testowe-egzamin 2014-5 tm
egzaminA06 2014 08 X operator urzadzen przemyslu chemicznego 13str
Kriogenika egzamin 2014 id 250 Nieznany
ZEZ Egzamin 2014 1
Materiały wiążace EGZAMIN 2014
Technologia informacyjna egzamin 2014 rok, Informatyka Prawnicza
zagadnienia -egzamin 2014, Położnictwo
EGZAMIN 2014 neuro rozwiązany, 1.Lekarski, V rok, Neurologia
Egzamin 0 2014 id 151705
Egzamin 2014 poziom podstawowy
Geologia regionalna śwata egzamin 2014

więcej podobnych podstron