CCF2012121528

44

transmisyjny. Wiadomość jest odbierana przez odbiornik, który odkodowuje informację do zrozumiałej przez siebie postaci. Między źródłem a odbiornikiem mogą następować zakłócenia powodujące błędy - zagadnienie korekcji błędów jest częścią teorii informacji, np. w systemach komputerowych wprowadza się kody kontrolne CRC - ang. Cyclic Redundancy Check - cykliczny kod nadmiarowy.

44

Information

source

Destination

I

Message

Received

Signal signal

►j Transmitter

Receiver

Message

Noise

source

Rys. 2.1. Schemat systemu komunikacyjnego Shannona (1948, na podst. oryginału)

Ważnym zagadnieniem teorii informacji jest sposób opisu ilości przesyłanej informacji czyli entropia.

Entropia jest to średnia ilość informacji, przypadająca na znak symbolizujący zajście określonego zdarzenia z pewnego zbioru, przy czym zdarzenia należące do tego zbioru mają przypisane prawdopodobieństwa wystąpienia. Entropię opisuje się wzorem:

gdzie: p(i) - prawdopodobieństwo wystąpienia zdarzenia i (lub prawdopodobieństwo wystąpienia i-tego znaku).

Stosując logarytm o podstawie r = 2, jednostką entropii jest bit, np.: entropię dla rzutów monetą (zdarzenie wyrzucenia orła p(orzeł) = 0,5 , zdarzenie wyrzucenia reszki p(reszka) = 0,5) możemy obliczyć w następujący sposób

Entropię stosuje się do szacowania kompresji informacji.

INFORMACJA A KOMPUTER

Wewnętrzna budowa komputera wymusza używanie ściśle określonych sposobów kodowania i przetwarzania informacji np. tekstu, grafiki, a nawet liczb. Zresztą, nie powinno to nikogo dziwić, gdyż człowiek również stosuje kodowanie informacji, choćby pod postacią systemów liczbowych.