246 (33)

rozróżnia! nych. Informację definiuje się jako zdarzenie wybrania elementu z tego podzbioru. Zdarzenie to może zajść z pewnym prawdopodobieństwem. Biorąc pod uwagę to prawdopodobieństwo oraz liczbę elementów zbioru n możliwych zdarzeń, określa się miarę informacji / (zwaną również negentmpią) za pomocą następującego równania:

l =    (9.1)

I* I

piat p, vuncr*i pra»dopo«Joł>ttitttwo »ytupeou i-ttgo elementu /tworu.

Jednostką negentropii jest bit. Jest to wybór z dwóch równoprawdopodobnych zdarzeń. Oznacza to. że wybór jednego z dwóch ró*yioprawdopodobn\x:h zdarzeń wiąże się z jednostką ilości informacji. Ten sposób określenia miary informacji ma następujące cechy:

-    wartość negentropii wzrasta wraz ze zwiększeniem liczby stanów, które mogą wystąpić oraz ze zwiększeniem nieprzew idywalności stanu aktualnego.

-    negentropia wielu niezależnych zbiorów stanów jest równa sumie ich negentropii;

-    negentropia informacji niezmiennej (występuje tylko jeden stan) wynosi 0.

Przykład: Dwa zbiory dwuclcmcntowe posiadają następujące prawdopodobieństwa wystąpienia poszczególnych stanów:

Zbiór A: p,=p₂ = 0.5 Zbiór B: p, = 0.01. p₂ = 0.99.

Negentropia dla zbioru A wynosi:

1_A = (-0.5 x log₂0,5) ♦ (-0.5 x k>g_:0,5) - 0.5 ♦ 0.5 - I |bit]

Natomiast negentropia dla zbioru B wynosi:

/, « (-0.99 x lofcO.99) ♦ (-0.01 x log₂0.0l) = 0.0143 ♦ 0.0664 = 0.0807 (bit)

Dla równołicznych zbiorów negentropia przyjmuje największą wartość, gdy prawdopodobieństwa wystąpienia każdego z elementów są równe. Wynosi ona wte-

dy:

^lm-^p, *9gjta)^lo*?( ~ ,1 = - Z ^ ^lo*^(,,)=ł°⁸?^<'^{,)    (9}-²⁾

i«i    /-i    i-i

Na rycinie 9.2 przedstawiono wykres wielkości negentropii dla zbioru dwuele-mentowego w zależności od prawdopodobieństwa wystąpienia jednego ze stanów p, lub p_l% przy czym p, * I - p,.

Wynika z tego bardzo ważny wniosek dotyczący sposobu odwzorowania wielkości fizycznych na zbiór stanów w sposób maksymalizujący ilość informacji: podział ten powinien wyróżnić elementy o podobnym prawdopodobieństwie wystąpienia

246