Transmisja w binarnym kanale symetrycznym
Wartości (0, 1) zmiennej X pojawiają się na wejściu binarnego kanału syme-
trycznego z prawdopodobieństwami { ą , 1-ą }. Kanał przekłamuje te wartości
z prawdopodobieÅ„stwem µ (zob. rys).
X Y
0 0
1 - µ
1 1
1 - µ
Z rysunku znajdujemy rozkład prawdopodobieństwa warunkowego P (Y |X):
X|Y 0 1
0 1 - µ µ
1 µ 1 - µ.
Korzystając ze wzoru p(y, x) = p(y|x)p(x) obliczamy rozkład prawdopodobień-
stwa Å‚Ä…cznego P (Y |X):
X|Y 0 1
0 Ä…(1 - µ) Ä…µ
1 (1 - Ä…)µ (1 - Ä…)(1 - µ)
P (Y ) Ä…(1 - µ) + (1 - Ä…)µ Ä…µ + (1 - Ä…)(1 - µ)
Sumując w kolumnach po wartościach zmiennej X dostajemy rozkład prawdo-
podobieÅ„stw zmiennej Y : P (Y ) = {Ä…(1 - µ) + (1 - Ä…)µ, Ä…µ + (1 - Ä…)(1 - µ)}.
Aby uniknąć operowania na długich, nieprzyjemnych wzorach i stowarzyszo-
nym z tym większym prawdopodobieństwem popełnienia błędu wprowadzamy
oznaczenie s = Ä… + µ - 2Ä…µ. Wówczas P (Y ) = {s, 1 - s} i od razu dostajemy
niepewność związaną z tą zmienną:
H(Y ) = -[s log s + (1 - s) log(1 - s)] = H(s)
. Niepewność warunkową H(Y |X) wyliczamy ze wzoru:
H(Y |X) = P (X = 0)H(Y |X = 0) + P (X = 1)H(Y |X = 1)
= Ä…[-(1 - µ) log 1 - µ - µ log µ] + (1 - Ä…)[-µ log µ - (1 - µ) log 1 - µ]
= -(1 - µ) log 1 - µ - µ log µ = H(µ).
Policzmy do kompletu niepewność z
ródła:
H(X) = -[Ä… log Ä… + (1 - Ä…) log (1 - Ä…)] = H(Ä…).
Jak widać, niepewność z
ródła zależy tylko od prawdopodobieństw pojawiania
się jego symboli, niepewność warunkowa zależy tylko od właściwości kanału, a
niepewność związana ze zmienną Y , tj. z obserwacją symboli na wyjściu kanału,
zależy zarówno od prawdopodobieństw symboli ze z
ródła, jak i od właściwości
kanału.
µ
µ
Znając H(Y ) i H(Y |X) możemy policzyć informację wzajemną miedzy wyjściem
i wejściem kanału:
I(X; Y ) = H(Y ) - (Y |X) = H(s) - H(µ).
Aby stąd wyznaczyć przepustowość kanału, musimy znalez
ć maksimum tego
wyrażenia ze względu na rozkłady prawdopodobieństw ze z
ródła. Od ą zależy
tylko H(s) i wiemy, że przyjmuje wartość maksymalną równą jedności przy
1
s = . Widzimy więc, że przepustowość symetrycznego kanału binarnego wynosi
2
C = 1 - H(µ)
i jest osiÄ…gana przy
1
= Ä… + µ - 2Ä…µ lub 2Ä…(1 - 2µ) = 1 - 2µ.
2
1
Stąd dostajemy ą = . Zatem zgodnie z oczekiwaniami widzimy, że przepusto-
2
wość kanału symetrycznego jest osiągana przy jednorodnym rozkładzie prawdo-
podobieństw symboli ze z
ródła.
2