2144792276

2013-01-23

Jest tylko jedna funkcja, która zamienia iloczyn na sumę: logarytm

Zatem z postulatu H(Z) = H (pfZj p(Z2) ) = H(ZJ + H(Z2) przy założeniu że p(Z)=p(Z1)p(Z2) wynika, że funkcja określająca miarę niepewności jakiegoś zdarzenia powinna być zdefiniowana jako logarytm prawdopodobieństwa.

Łatwo zauważyć, że przy takiej definicji spełniony jest także - niejako z automatu - postulat żeby niepewność zdarzenia pewnego p»=i wynosiła zero, bo logarytm jedynki ma wartość zero. P(Z) = 1 <-> H(Z) = 0

Odrobina kłopotu pojawia się w kontekście postulatu wyrażonego wzorami p(Z1)>p(Z2) H(Z1)<H(Z2) Logarytm jest funkcją rosnącą, więc dla większych wartości argumentu (prawdopodobieństwa) będzie przyjmował większe wartości - a powinno być odwrotnie.

Ale jest na to prosta rada: użyjemy znaku minus przed logarytmem gdy wartość prawdopodobieństwa będzie rosła i w ślad za tym będzie rosła wartość logarytmu -to wartość niepewności będzie malała. 1 oto chodzi!

Zatem mamy już gotową definicję miary niepewności w jej podstawowej postaci. Oto ona: H(Z) = -log,p(Z)

14