kodowanie:

Sprawność kodowania

Niech alfabet kodu składa się z q symboli i niech będzie to kod nieosobliwy jednoznacznie dekodowalny bez opóźnień. Niech nasz kanał łączności ma przepustowość: (3.9)

C = lo(j_a<j

a — podstawa logarytmu we wzorze na niepewność (informację) decydująca o jednostkach i średnią prędkość transmisji W. Niech    ) _ średnia ilość informacji w sygnale wejściowym wzór — na jedną wiadomość elementarną

Niech    ) —średnia ilość informacji na jeden element alfabetu kodu.

Ponieważ średnia długość wyrazu kodowego jest L (tyle elementów kodu na wiadomość elementarną), więc;

, _ H&) H&)

stąd: {3.10}

Dla ustalonej średniej informacji, czyli ^ minimalne L wystąpi gdy    maksymalne. Zaś jak wiemy ze wzoru (3.9) wartość

maksymalna entropii alfabetu kodu to log₃q. (3.11)

minL =

Celem naszym jest minimalna średnia długość wyrazu kodowego, stąd sprawność kodu można zdefiniować jako: (3.12)

n=

_ iłH (A )

L-log, £7

A

V

zaś nadmiarowość kodu jako p = 1 — r\.

Będziemy dążyć do takiego kodoyyania. aby n było iak największe. Z twierdzenia Shannona można wywnioskować, że istnieje kod o sprawności bliskiej jedności, gdyż można pokazać, że:

v

Vmax

^=11