Miara niepewności

MIARA NIEPEWNOŚCI

1.    Niech H(A) — będzie ilościowo wyrażoną niepewnością związaną z wydarzeniem A (niepewność pierwotna)

2.    Niech ES — będzie komunikatem dostarczającym informacji zmniejszającej tę niepewność

3.    H (A/B) — niepewność pozostająca po nadejściu komunikatu

Wówczas zmiana niepewności zdarzenia A po nadejściu komunikatu B, czyli informacja I da się wyrazić:

I (A B) = H(A) — H(B)

1.    Gdy H(A/B) = 0 — komunikat wyjaśnia sytuację całkowicie

2.    Gdy H(A/B) = H(A) — nie wyjaśnia niczego

3.    Gdy H(A/B) > H(A) — gmatwa sytuację, czyli dezinformacja

Zasadniczym pomysłem Shannona było powiązanie teorii informacji z teoria nrayydonodobieństwa czyli w szczególności niepewności H(A) zdarzenia A z prayydopodobieństwem p/Atego zdarzenia.

Powiązaniu temu służą trzy postulaty:

niepewność zdarzenia pewnego wynosi 0, czyli jeśli p(A) to H(A) 0

im mniejsze prawdopodobieństwo, tym większa niepewność, jeśli p(A) > p(C) to H(A) < H(C)

jeśli zdarzenie A jest złożeniem dyyóch niezależnych zdarzeń B i C, to niepewność tego zdarzenia jest sumą niepewności zdarzeń składowych, H(A) = H(B) + H(C)

Te postulaty prowadzą do następującego związku między niepewnością a prawdopodobieństwem:

H(A) = - log p (A)

PODSTAWOWE RÓWNANIA TEORII INFORMACJI