Jednoski pomiaru ilości informacji 1

JEDNOSTKI POMIARU ILOŚCI INFORMACJI

W jakich jednostkach wyrażamy H czy też informację /? Jednostki zależą od podstawy logarytmu użytego we wzorze:

H(A> = -log |>(A)(2)

1.    użycielog-io prowadzi do decimal Information unit — dit

2.    log_e = In naturaI Information unit — nit

3.    log2 binary Information unit — bit

(z drugiej strony bit po angielsku to "odrobina')

Dygresja — dotąd bit był Państwu znany jako jednostka pamięci służąca do zapamiętywania pojedynczego 0 lub pojedynczej 1.

Czemu to odpowiada w teorii informacji? Bit — pojemność takiego komunikatu, który znosi całkowicie niepewność polegającą na możliwości wyboru jednego z dwóch jednakowo prawdopodobnych zdarzeń, albo 1 albo 0. Prawdopodobieństwo pojedynczego takiego zdarzenia to 50% czyli 1/2 = 2“¹.Zatem w myśl (2):

H(A) = - log2 |>(A) = - lo(j2(2“¹) = 1

czyli niepewność związana z takim wyborem jest istotnie 1. Zatem bit musi być jednostką niepewności czyi informacji (Ijest zmienną H)

(Gdy dostarczenie komunikatu znosi całkowicie niepewność, to:

H(A/B) = 0 i l(A> = H(A)

według wzoru I (A/B) = H(A) - H(B))

Gdy zdarzenie jest bardziej skomplikowane i polega na występowaniu różnych wariantów zdarzenia A z różnym prawdopodobieństwem wzór I (A/B) = H(A)-H(B) ulega modyfikacji.

Rozważmy, jak w jednej z przygód Sheriocka Holmesa, że czytamy zakodowaną wiadomość i próbujemy ją rozszyfrować w oparciu o częstość występowania danej głoski (litery) w języku angielskim). Zdarzeniem jest fakt, że następna litera czytanego przez nas tekstu jest np. E (ponoć najczęściej występująca wj. angielskim). Jeśli wszystkich liter jest N to kolejne prawdopodobieństwa to p₁₍ P2---Pn i suma ich jest pewnością

N

S Pi=l

/=!

Średnia niepewność takiej sytuacji to (3)

N

H(A)=hr=- E Pilogpi

i =1