Twierdzenie Shannona

PRZEKAZYWANIE INFORMACJI. SZYBKOSC PRZEKAZU INFORMACJI A ZNIEKSZTAŁCENIA. TWIERDZENIE SHANNONA

Przy przekazywaniu ciągu symboli występujących z określonymi prawdopodobieństwami poprzez kanały łączności (rozumiane bardzo ogólnie)występuje określone prawdopodobieństwo tego, że jakiś symbol będzie zniekształcony na skutek zakłóceń, t.j. przyjęty jako inny symbol. Najprostsza metoda, która pozwala w sposób niezawodny odtworzyć przekazywany ciąg symboli to n-krotne (gdzie njest dużą liczbą) powtarzanie każdego symbolu przy przekazywaniu. Prowadzi to jednak do n-krotnego spowolnienia przekazu.

Shannon sformułował twierdzenie, że istnieje taka dodatnia liczba v_gf zależna tyko od rozpatrywanych prawdopodobieństw występowania symboli, że przy dowolnie małym s>0 istnieją sposoby (systemy kodowania) przekazywania informacji z szybkością v' mniejszą od v_gr, ale dowolnie jej bliską pozwalającą na odtwarzanie nadawanego ciągu z prawdopodobieństwem błędu mniejszym od s. Natomiast przy szybkościach v">v_gr jest to już niemożliwe. Tę krytyczną prędkość v_gf można wyznaczyć z relacji:

Hv = C,

gdzie H — to entropia źródła informacji w bitach na 1 literę, zaś C — jest pojemnością kanału w bitach na sekundę.

Pojemność kanału łączności określa się dołączając d niego dowolne źródło wiadomości i obliczając ilość informacji otrzymanych na wyjściu. Górna granica tych ilości informacji przy dołączaniu wszystkich dopuszczalnych źródeł to właśnie pojemność kanału