0127

orla czy reszki przy rzucie monetą p = —, wyciągnięcia jednej z n kart —itd. Wartość licz-

2    n

bowa prawdopodobieństwa mieścić się więc zawsze będzie między zerem (zdarzenie niemożliwe), a jednością (zdarzenie pewne). Z tego wynika, że suma prawdopodobieństw dla wielu nawet zdarzeń nie wykluczających się, zawsze równać się musi jedności

I = —log p    7.1

gdzie:

I oznacza ilość informacji, p — prawdopodobieństwo wyboru sygnału.

Jest rzeczą ważną również to, że każdą dowolnie złożoną wiadomość, liczbę itp. można przedstawić za pomocą ciągu składającego się z dwóch tylko różnych znaków, to jest przy użyciu kodu dwójkowego. Prawdopodobieństwa pojawienia się każdego ze znaków są

1

— . Przy logarytmie o podstawie 2 wzór 7.1 na ilość infor

sobie równe i wynoszą p

macji przyjmie postać

I

- loga P = —log₂ y = log, 2 = 1

7.2

Minus na początku wzoru nie oznacza „ujemnej informacji". Wynika lo stąd, że ponieważ wartość prawdopodobieństwa wyraża się liczbą zawartą między zerem a jednością, to Iogarytm takiej liczby zawsze będzie ujemny, a więc cale wyrażenie zawsze będzie dodatnie.

Zgodnie ze wzorem 7.2 taka ilość informacji, którą się otrzymuje w drodze jednorazowego wyboru z dwóch jednakowo prawdopodobnych zdarzeń, stanowi dwójkową jednostkę informacji. Od słów angielskich Binary Information Theoretical Unit nazwano ją „bit". Chociaż bit jest najczęściej używaną jednostką informacji, nie wyklucza on stosowania innych. Wybór logarytntu o podstawie 2 nie jest istotny, ponieważ przejście do logarytmu innego, np. o podstawie 10, sprowadza się jedynie do przemnożenia przez stały czynnik

iog₂ a = log₂ 10 • log₁₀ a

Bit jako jednostka informacji nadaje się do określania ilości dowolnych informacji. Wynika z tego, że z każdej możliwej liczby zdarzeń (jednakowo prawdopodobnych) można przeprowadzić wybór dowolnego zdarzenia drogą wykluczeń przez podziały dwójkowe. Jeśli chcemy np. określić położenie pionka na szachownicy, to biorąc pod uwagę, że

mamy do czynienia z określoną (64 pola) liczbą stanów jeżyli p = —^ moglibyśmy kolejno (lub w sposób przypadkowy) próbować określić miejsce, w którym się znajduje. Uzyskanie właściwej odpowiedzi mogłoby się nam udać (przy dużym szczęściu) już po kilku próbach, ale moglibyśmy też próbować bezskutecznie nawet kilkadziesiąt razy. Stosując metodę podziałów dwójkowych postępujemy inaczej: podzielimy szachownicę na dwie równe części np. górę i dół i zapytamy, w której z nich znajduje się pionek. Są tylko dwie możliwe odpowiedzi. Postępując w ten sposób dalej, kolejno ograniczymy liczbę pól z 64 do 32, następnie do 16, do 8, aż wreszcie do 2 w odpowiedzi piątej. Szósta odpowiedź wykaże nam dokładne położenie szukanego pionka. Zadaliśmy więc 6 pytań, które każdorazowo zmniejszały stan nieokreśloności (położenia) pionka na szachownicy.

134