Podstawowe pojęcia z teorii
informacji


 

Kod to
odpowiedniość polegająca na tym, ze każdemu
elementowi jednego zbioru odpowiada element zbioru drugiego. Celem kodowania
jest takie przystosowanie nadawanego ze źródła sygnału, aby mógł być zrozumiały przez odbiorcę.
Kod może być zupełnie dowolny np. języki,
układy cyfr, lub niezmienny- kod genetyczny, natomiast sama informacja
pozostaje niezmienna. Kod to
zbiór m wyrazów, który tworzy
pewną wiadomość. Wiadomość ta może
zostać przesłana przez n sygnałów
(sygnał
proces fizyczny stanowiący materialny nośnik informacji np. dźwięk
litera liczba). Wyróżniamy kody ziarniste (np. cyfrowe lub
literowe) lub ciągłe
(poprzez zmiany natężenia dźwięku, światła).

A także:

 

Kod amplitud
amplitudy
iglic powstałego potencjału w czasie zależą proporcjonalnie od siły bodźca
zewnętrznego
im silniejszy bodziec tym wyższa amplituda iglicy (ogromna
redundancja, podatność na błędy, nie występuje u organizmów żywych).

Kod dwójkowy
amplitudy
iglic powstałego potencjału są stałe, jednak ilość iglic w czasie zależy od
rodzaju bodźca zewnętrznego (wytłumienie lub nadmiar iglic przynosi ten sam
efekt, nie występuje u organizmów żywych).

 

Kod przedziałów
amplitudy
iglic powstałego potencjału są stałe, jednak odstępy między iglicami w czasie
zależą od siły bodźca zewnętrznego
im słabszy bodziec tym większa odległość
między iglicami ( nie występuje u organizmów żywych).

 

Kod częstości

amplitudy iglic powstałego potencjału są stałe jednak ich liczba w jednostce
czasu zmienia się w zależności od siły bodźca
zewnętrznego(najbardziej odporny na szumy, występuje u organizmów żywych)

 


Pojemność informacyjna układu


Graniczna ilość informacji jaką układ
może zgromadzić, wprowadzić lub przekazać jeśli dysponuje "m" różnymi sposobami
przy czym wiadomość składa się z "n" symboli, niekoniecznie różnych. Ilość
różnych wiadomości układu oblicz się ze wzoru:

N=mⁿ

Miarę pojemności układu obliczmy ze
wzoru:

 

log2N=
Q=nlog2m

 

Rzeczywista miara ilości informacji
zawartej w wiadomości uwzględnia osobliwości występujących symboli, bo
większość kodów dopuszcza jedynie niektóre kombinacje.

Jednostką pojemności inf. układu, w
którym wiadomość składa się z 2 różnych symboli [0,1] jest bit.

 


Pojemność informacyjna pamięci


Pojemność informacyjna pamięci wynosi około 10^20bitów

 


Nadmiar informacji (redundacja)
ilość informacji
przekraczająca wymagane do rozwiązania problemu minimum


 

R= 1-
Hrzecz/Hmaks

gdzie:

H rzecz-
entropia rzeczywista

H maks-
entropia maksymalna

 

Gdyby redundancja miała wartość zerową, oznaczałoby to, że moglibyśmy
otrzymywać zrozumiały tekst przy dowolnym układzie liter, co jest niemożliwe.
Zwiększeniu nadmiarowości informacji sprzyja stosowanie pewnej frazeologii lub
żargonu zawodowego. Przykładami redundancji
są historie chorób spisywanych przez lekarzy (więcej informacji, niż potrzeba
do określenia diagnozy)

 


Entropia względna
informacji inaczej dywergencja
Kulbacka-Leiblera (odnosząca się do teorii i informacji i statystyki) jest
to miara stosowana do określenia rozbieżności między dwoma rozkładami
prawdopodobieństwa p i q . Czasami zwana jest też odległością
Kulbacka-Leiblera, w rzeczywistości nie jest to prawdziwą metryką, gdyż
nie jest symetryczna i nie spełnia nierówności trójkąta.


 

Dla rozkładów dyskretnych wyrażana jest wzorem:

 

dKL(p,q)=
ƹp(i)log2p(i)/q(i)

 

 

Dla rozkładów ciągłych:



 

dKL(p,q)=
ƪp(x)log2[p(x)/q(x)]*dx

 

Entalpia ta przyjmuje same wartości
nieujemne, przy czym 0 tylko wtedy gdy porównywane rozkłady są identyczne