2144792274

2013-01-23

To oznacza, że przypadek opisany wzorem l(W/Z) = H(Z)

określa nam graniczną (maksymalną) ilość informacji jaką możemy uzyskać w opisywanej tu sytuacji. Ta graniczna ilość informacji determinowana jest naszą początkową niepewnością H(Z), natomiast na tym etapie rozważań jest niezależna od zawartości wiadomości W.

Wiadomość W jednak nie jest bez znaczenia. Zgodnie ze wzorem

!(W/Z) = H(Z) - H(Z/W)

źle zbudowana wiadomość może sprawić, że tej granicznej ilości informacji nie da się uzyskać i będziemy musieli zadowolić się ilością informacji

l(W/Z) < H(Z)

Warto zauważyć, że nie jest wykluczona sytuacja w której niepewność po otrzymaniu wiadomości W nie tylko nie zmaleje, ale przeciwnie - wzrośnie:

H(Z/W) > H(Z)

Taka sytuacja ma miejsce, gdy wiadomość W jest w istocie dezinformacją. W takim przypadku ilość informacji wnoszonej przez taką wiadomość jest ujemna (l(W/Z) < 0) i musimy się z tym pogodzić.

Przytoczone wyżej rozważania wskazały, że ilość informacji będziemy		Idąc śladem pomysłów Shannona
mogli zmierzyć (w właściwie		powiążemy miarę niepewności
wyznaczyć obliczeniowo)		dotyczącą zdarzenia H(Z)
gdy znajdziemy skuteczny sposób		z prawdopodobieństwem tego
obliczania miar niepewności H(Z) oraz		zdarzenia p(Z).
H(Z/W).

12