0129

jest przystosowanie nadawanego ze źródła informacji sygnału do przesłania go przez kanał łączności tak, aby mógł być zrozumiały przez odbiorcę informacji. Kodem nazywamy odpowiedniość polegającą na tym, że każdemu elementowi jednego zbioru odpowiada element zbioru drugiego. Kodowanie zachodzi zazwyczaj według wzajemnie jednoznacznej transformacji, podczas której sama informacja nie ulega zmianie. Kod może być zupełnie dowolny (np. używane języki, układy cyfr itp.) lub niezmienny, np. kod genetyczny.

Podczas przekazywania informacji ze źródła (o entropii II źródła) poprzez kanał łączności do odbiornika część informacji może ulec rozproszeniu bądź zniekształceniu, tak że otrzymana ilość informacji w odbiorniku II_odh może być niniejsza od entropii źródła, czyli

•^odb ^źródła

Między sygnałem na wejściu i na wyjściu kanału łączności zachodzi jedynie związek statystyczny, z którego można określić prawdopodobieństwo pojawienia się sygnału wejściowego. jeżeli został odebrany sygnał na wyjściu. Dla przekazania pewnego zbioru wiadomości X. kodujemy je na ciąg odpowiednich sygnałów, które na wyjściu kanału łączności tworzą nowy zbiór Y. w którym obok sygnałów wejściowych pojawiają się zakłócenia (szumy). Korzystając z odpowiednich prawdopodobieństw występowania sygnałów można obliczyć rzeczywistą prędkość przesyłania informacji v, która stanowi różnicę między entropią bezwarunkową źródła H(X) a entropią warunkową II(X/Y), czyli entropią źródła wiadomości, kiedy jest znany sygnał na wyjściu

v = IKK) - H(XIY)—    7.5

s

W warunkach dobrego odbioru //(X/Y) jest zbliżone do zera i wtedy prędkość przesyłania jest równa entropii źródła, co oznacza, że całkowita ilość informacji dociera do odbiornika. Przy entropii warunkowej zbliżonej (lub równej) do entropii źródła (odbiór utrudniony ze względu na np. zbyt silne zakłócenia) średnia ilość odebranej informacji zbliża się do zera. Funkcja żywego organizmu związana jest ze stałym przepływem ogromnych strumieni informacji, stwierdzono natomiast, że szybkość odbioru informacji z otoczenia przez człowieka nie przekracza 25 bitów na sekundę.

7.4. Nadmiarowość informacji

Rozpatrując np. znaki pisarskie w określonym języku jako zbiór sygnałów, można obliczyć (korzystając ze wzoru Shannona 7.3), że w przypadku alfabetu składającego się z 32 znaków, na jeden znak przypada //_max = 5 bilów. Wynika to stąd, że stosując jedną z 32 liter dokonujemy wyboru z 32 możliwych stanów, a logarytm o podstawie 2 z 32 jest równy 5. Jeśli jednak weźmiemy pod uwagę częstość występowania (powtarzania) poszczególnych liter, to wartość rzeczywista entropii //_r7CCZ wyniesie nieco ponad 4 bity na znak pisarski. Nie oznacza to, że znając np. entropię przypadającą na jeden symbol (literę) i mnożąc ją przez liczbę liter zawartych w artykule, książce czy publikacji, wyznaczymy zawartą w niej informację. Będzie ona dużo mniejsza, gdyż ze względów natury gramatycznej, ortograficznej czy stylistycznej dochodzi w tekście do powtarzania informa-

136