Jednoski pomiaru ilości informacji 3

Często HfEfl nazywamy entropia komunikatu B ze względu na bezpośredni związek pojęcia niepewności w teorii informacji a entropii w fizyce. Ponieważ (zgodnie z pojęciem entropii)

to: l(A B| < H(B}

Zatem: komunikat ma tym większą pojemność informacyjną im większa jest jego własna entropia. Zaś wzór (1) można interpretować tak, że otrzymanie informacji jest związane ze zmniejszaniem entropii.

Dlatego też przy wyborze systemów kodowania (o których później) dążymy do maksymalizacji entropii komunikatów. Dla każdego systemu kodowania można określić jego maksymalna pojemność informacyjna H_mav i entropię rzeczywistą H.

Ponieważ H<H_max, więc każdy symbol (np. litera) przenosi mniej informacji niż by mógł. Jest to strata, bo dla przekazu tej samej informacji potrzeba więcej symboli. Zjawisko to nazywamy nadminiem lub redundancją R:

R =

= 1-

H

Dla języka polskiego (H_max = 5.26 bit / literę, H = 1 bit / literę) nadmiarowość R * 81 %.

Zatem z punktu widzenia teorii informacji 4/5 tego, co mówimy lub piszemy jest zbedne!!!

Inne języki mogą być bardziej oszczędne - np. angielski, z którego tłumaczenie na polski zajmuje zawsze więcej miejsca niż oryginalny tekst. Ale sąjęzyki mniej oszczędne niż polski, np. portugalski. Jako ciekawostkę można podać, że nawet język tam - tamów ma redundancję * 80%.