Własności entropii

Funkcja H(X):

 Ciągła na odcinku [0, 1] i symetryczna

 Posiada dolne i górne ograniczenie

0 = H(1, 0,..., 0)H(p1,..., pn)=<H(1/n,..., 1/n) = lg n.

 Własność grupowania.

Jeśli w zbiorze X = {x1,..., xn} symbole x1,..., xi tworzą podzbiór Xi, to:

H(p1,..., pi, pi+1,..., pn) = HX-Xi + HXi

Kodowanie informacji

 Kod wynikowy nazywamy jednoznacznie dekodowalnym jeżeli istnieje

tylko jeden sposób podziału ciągu kodowego na oddzielne słowa kodu.

 Kod jest kodem przedrostkowym jeśli nie możemy otrzymać żadnego

słowa kodu z innego słowa kodu poprzez dodanie do niego zer lub

jedynek.

 Kodem optymalnym dla danego rozkładu prawdopodobieństwa

nazywamy kod, dla którego liczba Lc posiada najmniejszą wartość.

Systemy kodowania danych

Reprezentacja danych alfanumerycznych.

 Nośnikami danych są sygnały elektryczne przetwarzane przez system układów

elektronicznych.

 Układy pracują w logice dwuwartościowej i nazywane są logicznymi układami

cyfrowymi.

Elementy tych układów pozostają w dwóch stanach:

 Stanie wysokim (istnieje wartość amplitudy napięcia - Umax, prądu - Imax)

 Stanie niskim (istnieje wartość amplitudy napięcia - Umin, prądu - Imin)

Stany te oznaczamy odpowiednio: stan wysoki - 1, stan niski - 0 (konwencja logiki

dodatniej).

Cechy kodu binarnego:

 Duża niezawodność układów dwustanowych.

 Łatwość opisu, analizy i syntezy tych układów.

Stany 1 oraz 0 utożsamiane są z cyframi binarnymi

 Mała ilość przekazywanej informacji charakterystyczna dla elementów

dwustanowych (logiki dwuwartościowej).

Kody danych alfanumerycznych

Standardy:

 ASCII (American Standard Code for Information Interchange),

 ISO (International Standard Organisation),

 ANSI (American National Standard Institute),

Extended ASCII (IBM, 1981) 8-bitowy kod znaków:

 Alfanumerycznych,

 Matematycznych,

 Symboli specjalnych,

 Znaków sterujących.

Pozycyjne systemy liczbowe

Systemy stałobazowe ( Radix-based systems) - systemy pozycyjne, w których

poszczególne wagi są potęgami stałej całkowitej, zwanej podstawą lub bazą.

Format stałopozycyjny (Radix notation) - reprezentacja ustalonej pozycji kropki

oddzielającej części całkowitą od ułamkowej.

Binarny system liczbowy

Kod NBC (Natural Binary Code). Liczba całkowita.

Ciąg cyfr binarnych:

an-1 an-2 … an-2 … a1 a0

wyraża wartość liczby całkowitej będącej odpowiednikiem liczby dziesiętnej:

A = an-1 2n-1 + an-2 2n-2 + … + a1 21 + a0 20

ai - wartość i-tego bitu liczby

a0 - najmniej znaczący bit lsb (least significant bit)

ai - najbardziej znaczący bit msb (most significant bit)

1 1 0 1(2) ->13(10)

---