0000035 (14)

W każdej odpowiedzi była zawarta jedna dwójkowa jednostka informacji, a ponieważ 64 = 2®, to łączna ilość informacji (którą określa wykładnik potęgi) wynosiła 6 bitów.

Przy zdarzeniach niejednakowo prawdopodobnych (np. przy niejednakowej częstości ich występowania) ilość informacji przypadających na sygnał można obliczyć, według wzoru podanego przez Shannona:

1= —Pi logzPi-PilogzPt... -p„\og_ip_n

lub

i=i

gdzie Pi,p» .../?„ oznaczają prawdopodobieństwa poszczególnych zdarzeń. Istnieje pewna analogia między wyrażeniem 7.3. określającym ilość informacji a wzorem na entropię podanym przez Boitzmanna.

Tak jak entropia jest miarą nieuporządkowania układu, tak informacja jest miarą nieokreśloności, dlatego też przyjęto średnią ilość informacji I nazywać entropią H zbioru zdarzeń, czyli I = II, wtedy

H = —Z Pi^]°S2Pi    ^7A

1 = n

Zastanawiając się nad tym sformułowaniem matematycznym nietrudno uznać jego celowość. Gdyby układ znajdował się w stanie ściśle określonym, to wartość prawdopodobieństwa p równałaby się jedności; ale logarytm z jedności jest równy zeru, co dałoby nam po wstawieniu do wzoru H — —p_l log.,/?! =1x0 = 0. Z tego wynika, że gdy zjawisko jest pewne — to znaczy zdarzenie przyjmie jedną jedyną postać, to entropia ma wartość zerową. Wzór 7.4 można zilustrować następująco: jeśli układ może się znajdować w różnych stanach z niejednakowymi prawdopodobieństwami, to ilość informacji dotycząca stanu rzadziej spotykanego jest większa niż ta, która dotyczy stanu spotykanego częściej. Nawet bez dokładnego rachunku zauważyć to możemy na następującym przykładzie: jeśli na 100 obserwowanych przypadków określonej choroby 97 przebiega bez powikłań, a 3 z komplikacjami (na które przede wszystkim zwrócona zostanie nasza uwaga),

97    3

to prawdopodobieństwa obu stanów wynoszą yyy^ dla pierwszego i -y^ dla drugiego.

97    97

Stosując wzór 7.4 na ilość informacji musielibyśmy porównać wyrażenie — -yy- log, yyy-

z wyrażeniem--yyy log, -yyy ; przekonalibyśmy się że wyrażenie pierwsze jest mniejsze

od drugiego, to znaczy charakteryzuje się mniejszą ilością informacji. Warto w'ięc zapamiętać, że entropia ma wartość maksymalną, gdy zjawisko jest najbardziej niepewne, a będzie to miało miejsce, gdy prawdopodobieństwa poszczególnych zdarzeń są sobie równe.

7.3. Przekazywanie informacji

Ze względu na zazwyczaj różne właściwości fizyczne generatora informacji (źródła), kanału łączności, jak też odbiornika, realizacja przekazywania informacji wymaga transformowania jej w procesie nazywanym kodowaniem (lub dekodowaniem). Celem kodowania

135