1. Sygnał deterministyczny i stochastyczny

Wszelkie spotykane sygnały najogólniej możemy podzielić na:

 Stochastyczne (zbiór sygnałów losowych)

 Deterministyczne

Zaliczanie sygnałów do pierwszej lub drugiej grupy zależy od zawartości informacji, jaką posiada odbiorca sygnału w stosunku do nadawcy informacji. Jeżeli przekazywana jest nam informacja znana to sygnał dla nas jest deterministyczny. Jeżeli przekazywana jest nam informacja, którą możemy, jedynie przewidzieć jako statystyczną to sygnał traktujemy jako losowy. A zatem sygnał o przyszłości znanej opisanej, np.: matematycznie jest sygnałem deterministycznym. Natomiast sygnał losowy o nieznanej przyszłości posiada model probabilistyczny i z nim związana jest informacja. W praktyce modele stochastyczne sygnałów wynikają często z nieznajomości zjawisk fizycznych, które generują dane sygnały.

2. Rozkład dwumianowy i jego przybliżenia

Z najprostszą postacią rozkładu mamy do czynienia wówczas, jeżeli eksperyment ma jedynie dwie możliwości: sukces bądź niepowodzenie, rozkład taki nazywamy dwumianowym. Załóżmy, że w każdym eksperymencie prawdopodobieństwo sukcesu wynosi p, a niepowodzenia q, wówczas można zapisać: . W przypadku n przeprowadzonych eksperymentów prawdopodobieństwo osiągnięcia sukcesów k razy określa się zależnością: - jest to postać rozkładu dwumianowego. W przypadku, kiedy liczba eksperymentów jest bardzo duża, n >> prawdopodobieństwo sukcesów każdego z doświadczeń bardzo małe p << 1 to istnieje pewne przybliżenie rozkładu dwumianowego nazywane rozkładem Poisson. 3. Parametry charakteryzujące rozkłady prawdopodobieństwa i związek między nimi

4. Probabilistyczny model systemu informacyjnego. Pojęcie macierzy transmisyjnej

Suma tych prawdopodobieństw warunkowych po wszystkich realizacjach sygnału musi być równa 1:

.

Z powyższego widzimy, że dla każdej wartości własności zakłóceń działających w kanale transmisyjnym, opisuje się warunkowym rozkładem prawdopodobieństwa: . W związku z tym, że ilość możliwych realizacji sygnału nadawanego jest N, a ilością realizacji sygnału odbieranego jest M, to własności zakłóceń działających w kanale transmisyjnym, będą opisane przez P x M prawdopodobieństw warunkowych . W związku z tym probabilistyczną charakterystykę kanału możemy przedstawić za pomocą macierzy prostokątnej posiadającej M – kolumn i N – wierszy. Macierz ta ma postać:

.

Należy pamiętać, że suma kolumn ma być równa . Powyższą macierz nazywamy macierzą przejścia kanału transmisyjnego, przedstawiającego zbiory i w postaci macierzy kolumnowych:

, oraz zbiór : .

5. Transinformacja i przepustowość kanału transmisyjnego

• Przepustowość kanału transmisyjnego:

Rozpatrzmy system informacyjny, który był omawiany:

Rys.: Graficzne przedstawienie elementarnego dyskretnego systemu informacyjnego.

Należy teraz ocenić zdolność kanału transmisyjnego do przesyłania informacji. Wielkość charakteryzująca zdolność powinna zależeć od charakterystyki probabilistycznej kanału a zatem od zbioru prawdopodobieństwa . Jednakże miarą oczekiwanej ilości informacji przesyłanej przez kanał jest transinformacja, będąca funkcją zarówno probabilistycznej charakterystyki źródła informacji jak i probabilistycznej charakterystyki kanału.

6. Kodowanie Shannona-Fano

• Projektowanie kodów Shannona – Fano.

Rozpatrzymy projektowanie kodów binarnych, czyli Q = 2. Załóżmy, że kody mają spełniać właściwość przedrostkową, w przypadku takich założeń, dla zapewnienia dużej sprawności kodowania długości wyrazów muszą spełniać nierówność: .

Na podstawie powyższej nierówności dla danego źródła informacji określamy długości wyrazów kodu. W taki sposób projektowany kod w ogólnym przypadku nie spełnia jeszcze właściwości przedrostkowej, dlatego należy zastosować metodę Shannona – Fano, którą opiszemy następująco: elementy ze zbioru w zależności od wartości prawdopodobieństw apriori, czyli uszeregujemy w ten sposób, aby spełniona była nierówność: . Przez oznaczamy dystrybuantę rozkładu prawdopodobieństw ma ona postać: i następnie wprowadzimy pewien pomocniczy zbiór liczb o postaci:

. Zauważyć należy, że zmienia się od j = 1, … do .

W następnym kroku wartości liczby zapisujemy w układzie dwójkowym, czyli każda z liczb będzie ciągiem 0 i 1. Dla określenia i – tego wyrazu kodu o długości należy wybrać kolejnych współczynników, czyli 0 i 1, licząc od kropki w prawo.

Przykład:

Źródło informacji wytwarza losowy sygnał charakteryzowany zbiorem realizacji , przy czym i = 1, 2, …, 5 oraz rozkładem prawdopodobieństw , gdzie , , , , . Zaprojektować kod binarny Shannona – Fano. Obliczyć ilość informacji zawartą w sygnale .

Dane:

.

Rozwiązanie: