1. Sygnał deterministyczny i stochastyczny

Wszelkie spotykane sygnały najogólniej możemy podzielić na:

Stochastyczne (zbiór sygnałów losowych)

Deterministyczne

Zaliczanie sygnałów do pierwszej lub drugiej grupy zależy od zawartości informacji, jaką posiada
odbiorca sygnału w stosunku do nadawcy informacji. Jeżeli przekazywana jest nam informacja znana
to sygnał dla nas jest deterministyczny. Jeżeli przekazywana jest nam informacja, którą możemy,
jedynie przewidzieć jako statystyczną to sygnał traktujemy jako losowy. A zatem sygnał o przyszłości
znanej opisanej, np.: matematycznie jest sygnałem deterministycznym. Natomiast sygnał losowy o
nieznanej przyszłości posiada model probabilistyczny i z nim związana jest informacja. W praktyce
modele stochastyczne sygnałów wynikają często z nieznajomości zjawisk fizycznych, które generują
dane sygnały.

2. Rozkład dwumianowy i jego przybliżenia

Z najprostszą postacią rozkładu mamy do czynienia wówczas, jeżeli eksperyment ma jedynie
dwie możliwości: sukces bądź niepowodzenie, rozkład taki nazywamy dwumianowym.
Załóżmy, że w każdym eksperymencie prawdopodobieństwo sukcesu wynosi p, a

niepowodzenia q, wówczas można zapisać:

p

q

q

p









1

1

. W przypadku n przeprowadzonych

eksperymentów prawdopodobieństwo osiągnięcia sukcesów k razy określa się zależnością:

k

n

k

k

n

k

p

p

k

n

k

n

q

p

k

n

k

P





























)

1

(

)!

(

!

!

)

(

-

jest to postać rozkładu dwumianowego. W

przypadku, kiedy liczba eksperymentów jest bardzo duża, n >> 1, a prawdopodobieństwo
sukcesów każdego z doświadczeń bardzo małe p << 1 to istnieje pewne przybliżenie
rozkładu dwumianowego nazywane rozkładem Poisson. 3. Parametry charakteryzujące rozkłady
prawdopodobieństwa i związek między nimi

4. Probabilistyczny model systemu informacyjnego. Pojęcie
macierzy transmisyjnej

Suma tych prawdopodobieństw warunkowych po wszystkich realizacjach sygnału musi

być równa 1:







N

k

i

k

x

y

P

1

1

)

(





.

Z powyższego widzimy, że dla każdej wartości

i

x

własności zakłóceń działających w

kanale transmisyjnym, opisuje się warunkowym rozkładem prawdopodobieństwa:

)}

(

{

i

k

x

y

P





.

W związku z tym, że ilość możliwych realizacji sygnału nadawanego jest N, a

ilością realizacji sygnału odbieranego jest M, to własności zakłóceń działających w kanale

transmisyjnym, będą opisane przez P x M prawdopodobieństw warunkowych

)

(

i

k

x

y

P





. W

związku z tym probabilistyczną charakterystykę kanału możemy przedstawić za pomocą
macierz

y prostokątnej posiadającej M – kolumn i N – wierszy. Macierz ta ma postać:























































)

(

)...

(

)...

(

.....

..........

..........

..........

..........

)

(

)...

(

)...

(

.....

..........

..........

..........

..........

)

(

)...

(

)...

(

)]

(

[

1

1

1

1

)

,

(

M

N

i

N

i

M

k

i

k

i

M

k

i

i

M

N

i

k

x

y

P

x

y

P

x

y

P

x

y

P

x

y

P

x

y

P

x

y

P

x

y

P

x

y

P

x

y

P









































.

Należy pamiętać, że suma kolumn ma być równa



. Powyższą macierz nazywamy

macierzą przejścia kanału transmisyjnego, przedstawiającego zbiory

)}

(

{

i

x

P



i

)}

(

{

k

y

P



w postaci macierzy kolumnowych:

)

1

,

(

1

)

1

,

(

)

(

)

(

....

....

....

)

(

)]

(

[

M

M

i

M

i

x

P

x

P

x

P

x

P



















































, oraz zbiór

)}

(

{

k

y

P



:

)

1

,

(

1

)

1

,

(

)

(

)

(

....

....

....

)

(

)]

(

[

N

N

k

N

k

y

P

y

P

y

P

y

P



















































.

5. Transinformacja i przepustowość kanału transmisyjnego



Przepustowość kanału transmisyjnego:

Rozpatrzmy system informacyjny, który był omawiany:

)

1

,

(

)]

(

[

M

i

x

P



)

,

(

)]

(

[

M

N

i

k

x

y

P





)

1

,

(

)]

(

[

N

k

y

P



)

(





)

(





)

(



H

)

(



H

Rys.: Graficzne przedstawienie elementarnego dyskretnego systemu informacyjnego.

Należy teraz ocenić zdolność kanału transmisyjnego do przesyłania informacji. Wielkość
charakteryzująca zdolność powinna zależeć od charakterystyki probabilistycznej kanału a

zatem od zbioru prawdopodobieństwa

)}

(

{

i

k

x

y

P





. Jednakże miarą oczekiwanej ilości

informacji przesyłanej przez kanał jest transinformacja, będąca funkcją zarówno
probabilistycznej charakterystyki źródła informacji jak i probabilistycznej
charakterystyki kanału.

6. Kodowanie Shannona-Fano



Projektowanie kodów Shannona – Fano.

Rozpatrzymy projektowanie kodów binarnych, czyli Q = 2. Załóżmy, że kody mają

spełniać właściwość przedrostkową, w przypadku takich założeń, dla zapewnienia dużej
sprawności kodowania długości

i

L

wyrazów

i

D

muszą spełniać nierówność:

)

)

(

2

(

log

)

)

(

1

(

log

2

2

i

i

i

x

P

L

x

P









.

Na podstawie powyższej nierówności dla danego źródła informacji określamy długości

i

L

wyrazów

i

D

kodu. W taki sposób projektowany kod w ogólnym przypadku nie spełnia

jeszcz

e właściwości przedrostkowej, dlatego należy zastosować metodę Shannona –

Fano,

którą opiszemy następująco: elementy

i

x

ze zbioru





w zależności od wartości

prawdopodobieństw apriori, czyli

)

(

i

x

P



uszeregujemy w ten sposób, aby spełniona była

nierówność:

)

(

)

(

...

)

(

)

(

1

2

1

xM

P

x

P

x

P

x

P

i

M



















.

Przez

)

(

i

x

F



oznaczamy

dystrybuantę rozkładu prawdopodobieństw

)

(

i

x

P



ma

ona postać:







x

x

i

i

x

P

x

F

1

)

(

)

(





i

następnie wprowadzimy pewien pomocniczy zbiór liczb

j



o postaci:

1

)

(

...

)

(

...

)

(

)

(

0

1

1

2

3

2

1

















M

M

j

j

i

x

F

x

F

x

F

x

F



















. Zauważyć należy, że

j



zmienia się od j = 1, … do



.

W następnym kroku wartości liczby

j



zapisujemy w układzie dwójkowym, czyli każda z

liczb będzie ciągiem 0 i 1. Dla określenia i – tego wyrazu

i

D

kodu o długości

i

L

należy

wybrać

i

L

kolejnych współczynników, czyli 0 i 1, licząc od kropki w prawo.

Przykład:

Źródło informacji wytwarza losowy sygnał



charakteryzowany zbiorem realizacji

)}

{(

i

x







, przy czym i = 1, 2, …, 5 oraz rozkładem prawdopodobieństw

)

(

i

x

P



, gdzie

2

1

)

(

1



x

P



,

4

1

)

(

2



x

P



,

8

1

)

(

3



x

P



,

16

1

)

(

4



x

P



,

16

1

)

(

5



x

P



. Zaprojektować kod

binarny Shannona

– Fano. Obliczyć ilość informacji zawartą w sygnale



.

Dane:

2

1

)

(

1



x

P



4

1

)

(

2



x

P



8

1

)

(

3



x

P



16

1

)

(

4



x

P



16

1

)

(

5



x

P



.

Rozwiązanie:

5

5

4

32

log

)

16

(

log

3

4

3

16

log

)

8

(

log

2

3

2

8

log

)

4

(

log

1

2

1

)

2

1

2

(

log

)

2

1

1

(

log

)

)

(

2

(

log

)

)

(

1

(

log

2

4

2

4

2

3

3

2

3

2

2

2

2

2

2

1

1

2

1

2

2

2













































L

L

L

L

L

L

L

L

L

L

L

L

x

P

L

x

P

i

i

i





sygna

ł

bit

H

x

P

x

P

H

D

D

D

D

D

x

P

F

M

i

i

a

i

x

xi

i

875

,

1

)

(

)

(

1

log

)

(

)

(

)

1111

(

)

1110

(

)

110

(

)

10

(

)

0

(

000000

.

1

111100

.

0

111000

.

0

110000

.

0

100000

.

0

000000

.

0

1

16

15

8

7

4

3

2

1

0

)

(

1

5

4

3

2

1

6

5

4

3

2

1

6

5

4

3

2

1



















































































