siecig

Wiadomość mniej znana, mniej oczekiwana, mniej prawdopodobna, zawiera więcej informacji dla odbiorcy. Miarą informacji, jaką zawiera wiadomość, jest logarytm o podstawie dwa z odwrotności prawdopodobieństwa tej wiadomości.

(2.143)

i -= log, d

Jeżeli sygnał zawiera dwie równie prawdopodobne wiadomości, czyli P = 1/2, wtedy ilość informacji zawarta w jednej takiej wiadomości wynosi

(2.144)

/ — log₂2 = 1 bit

Mówimy, że wiadomość ta zawiera jednostkę informacji. Na przykład w systemach z modulacją PCM sygnał zawiera L niezależnych poziomów. Jeżeli założymy, że prawdopodobieństwo występowania tych poziomów jest równe, czyli

P =

L

1

₂Tv

Wtedy ze wzoru (2.143) można obliczyć, że jeden poziom ze zbioru L poziomów zawiera informację równą:

/

1

log₂ —- = łog₂ 2^N = N [bitów]

(2.145)

Jednostka informacji bit jest innym pojęciem od słowa bit w sensie nazwy znaku w sygnale binarnym.

Ważnym pojęciem jest średnia informacja zawarta w wiadomości. Jeżeli na przykład mamy n różnych wiadomości:

, m₂ > ... nj_n

prawdopodobieństwo tych wiadomości wynosi odpowiednio:

Pi»P2> Pn

Niech ponadto ogólna ilość wiadomości wynosi M. Całkowita informacja zawarta w opisanym sygnale wyniesie:

/s = Pi Mlog₂ -—+/?■> M log, -f ... +p_RM log₂—[bitów]

Pl "    Pl    Pn

Średnia ilość informacji zawarta w jednej wiadomości wyniesie zatem:

(2.146)

/* = //= ^h ■ ¹

i    -    i    ¹    i    ¹

= _Pl]og₂— +p₂log₂---+ ... +/?„log₂ —

^M    Pl    Pl    Pn

(2.147)

r

Średnia ilość informacji zawarta w jednej wiadomości zwana jest entropią. Ogólnie entropia wyraża się następująco:

n

jr__\ ^    l

ⁿ ~ / p-, log?— [bit/wiadomość] /-i    “ Pi

(2.148)

i =i

Entropia jest największa, gdy prawdopodobieństwa poszczególnych wiadomości w sygnale są sobie równe. Można pokazać, że gdy prawdopodobieństwo wiadomości

48