Spis treści

1 Procesy stochastyczne

3

1.1 Definicja i statystyki . . . . . . . . . . . . . . . . . . . . . . .

3

1.1.1

Statystyki I-go rzędu . . . . . . . . . . . . . . . . . . .

4

1.1.2

Statystyki II-go rzędu . . . . . . . . . . . . . . . . . .

5

1.1.3

Statystyki wyższych rzędów . . . . . . . . . . . . . . .

7

1.1.4

Podsumowanie . . . . . . . . . . . . . . . . . . . . . .

7

1.2 Procesy gaussowskie (normalne) . . . . . . . . . . . . . . . . .

7

1.3 Procesy stacjonarne . . . . . . . . . . . . . . . . . . . . . . . .

8

1.3.1

Definicje statystyk dla procesów stacjonarnych . . . . . 10

1.4 Statystyki łączne procesów . . . . . . . . . . . . . . . . . . . . 10
1.5 Właściwości statystyk . . . . . . . . . . . . . . . . . . . . . . 11

1.5.1

Autokorelacja . . . . . . . . . . . . . . . . . . . . . . . 11

1.5.2

Korelacja wzajemna . . . . . . . . . . . . . . . . . . . 12

1.5.3

Widmowa gęstość mocy . . . . . . . . . . . . . . . . . 12

1.5.4

Nieskorelowanie i ortogonalność . . . . . . . . . . . . . 12

1.6 Ergodyczność . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.7 Przykłady sygnałów stacjonarnych . . . . . . . . . . . . . . . 13
1.8 Przykład z radarem . . . . . . . . . . . . . . . . . . . . . . . . 14

1.8.1

Bez bramki . . . . . . . . . . . . . . . . . . . . . . . . 14

1.8.2

Z wyłączonym odbiornikiem na czas nadawania . . . . 15

1.9 Przejście sygnału przez układ LTI . . . . . . . . . . . . . . . . 15
1.10 Elementy identyfikacji systemu . . . . . . . . . . . . . . . . . . 16
1.11 Procesy zespolone . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.12 Pole losowe . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

1

2

SPIS TREŚCI

Rozdział 1

Procesy stochastyczne

1.1

Definicja i statystyki

* Proces stochastyczny jest modelem sygnału losowego

* Proces stochastyczny jest uogólnieniem pojęcia zmiennej losowej

* Dane jest doświadczenie E określone przez jego wyniki ξ tworzące prze-

strzeń probabilistyczną S. Przestrzeń S dzielimy na skończona liczbę pod-
zbiorów {S

i

}. Każdemu podzbiorowi przyporządkowane jest prawdopodo-

bieństwo wystąpienia wyniku z tego podzbioru. Natomiast każdemu wyniko-
wi ξ przyporządkowywana jest funkcja według pewnej reguły. Dla przypo-
mnienia, w przypadku zmiennej losowej każdemu wynikowi przyporządkowy-
wana jest liczba i to jest jedyna ale daleka w konsekwencjach różnica. Tak
więc proces stoch. jest funkcją dwóch zmiennych niezależnych

x(t, ξ);

t ∈ R;

ξ ∈ S

Zwykle przyporządkowywaną funkcją jest funkcja czasu, ale może to być inna
zmienna niezależna

* Przykład z rzutami wieloma monetami - rysunek

* Przykład z wieloma odbiornikami radiowymi, ta sama stacja

* Przykład z wieloma mówcami

3

4

ROZDZIAŁ 1. PROCESY STOCHASTYCZNE

* Przykład z generatorami szumu białego - nieskończona ich liczba - ry-

sunek

* Przykład z generatorami sygnałów sinusoidalnych o tej samej częstotli-

wości i amplitudzie - rysunek

* Przykład z sygnałem telekomunikacji cyfrowej - rysunek

* Dlaczego wprowadzamy pojęcie procesu stochast.? Chcemy opisywać

zjawisko jako całość a nie pojedyncze sygnały, np. projektowanie urządzeń,
systemów telekomunikacyjnych, teleinformatycznych itd.

* ustalenie jednej ze zmiennych niezależnych

x(t, ξ)

t=const

= x(ξ)

zmienna losowa

x(t, ξ)

ξ=const

= x(t)

realizacja

* Procesy z czasem ciągłym i z czasem dyskretnym

* Model jest zbyt skomplikowany, dlatego opisujemy go za pomocą sta-

tystyk (charakterystyk)

* Statystyki I-go rzędu, II-rzędu i wyższych rzędów

1.1.1

Statystyki I-go rzędu

* Dystrybuanta

F (x, t) = P {x(t) ¬ x}

* Uwaga: tutaj mamy 2 różne wielkości pod oznaczeniem x - x(t) ja-

ko proces (dla uproszczenia opisu rezygnujemy z oznaczenia x(t, ξ)), x jako
wartość; ale jeszcze x(t) jako realizacja

* Omówić dystrybuantę na przykładzie procesu z 3 realizacji o różnych

prawdopodobieństwach, rysunek, wkreślić dystrybuantę dla wybranego czasu

1.1. DEFINICJA I STATYSTYKI

5

* Gęstość prawdopodobieństwa, rozkład prawdopodobieństwa

f (x, t) =

δF (x, t)

δx

na tym samym rysunku wkreślić rozkład prawdopodobieństwa

* Wartość średnia procesu

m(t) = E{x(t)}

* E - operator wartości oczekiwanej, średnia ważona prawdopodobień-

stwem jako uogólnienie średniej ważonej i średniej arytmetycznej, dla procesu
złożonego ze skończonej liczby realizacji

m(t) =

I

X

i=1

f (x

i

, t)x

i

przykład rachunkowy

Dla procesu z ciągłym rozkładem prawdopodobieństwa

m(t) =

Z

∞

−∞

xf (x, t)dx

* Operator E jest operatorem liniowym - podać co to znaczy

* Rozkłady prawdopodobieństwa a tym samym dystrybuanta są pierwot-

ne, patrz powyżej i później też

1.1.2

Statystyki II-go rzędu

* Dystrybuanta

F (x

1

, x

2

, t

1

, t

2

) = P {x(t

1

) ¬ x

1

, x(t

2

) ¬ x

2

}

* Gęstość prawdopodobieństwa

f (x

1

, x

2

, t

1

, t

2

) =

δ

2

F (x

1

, x

2

, t

1

, t

2

)

δx

1

δx

2

6

ROZDZIAŁ 1. PROCESY STOCHASTYCZNE

* Ze statystyk wyższego rzędu można wyznaczyć statystyki niższego rzę-

du, statystyki brzegowe

F (x

1

, ∞, t

1

, t

2

) = F (x

1

, t

1

)

f (x

1

, t

1

) =

Z

R

f (x

1

, x

2

, t

1

, t

2

)dx

2

* Autokorelacja, uogólnienie wartości średniej

R(t

1

, t

2

) = E{x(t

1

)x(t

2

)}

R(t

1

, t

2

) =

Z

R

2

x

1

x

2

f (x

1

, x

2

, t

1

, t

2

)dx

1

dx

2

* Autokowariancja

C(t

1

, t

2

) = E{[x(t

1

) − m(t

1

)][x(t

2

) − m(t

2

)]}

* Wartość średniokwadratowa

N(t) = E{x(t)

2

}

* Wariancja

σ

2

(t) = E{[x(t) − m(t)]

2

}

σ to odchylenie standardowe

* Widmowa gęstość mocy

S(f

1

, f

2

) = F T {R(t

1

, t

2

)}

zapisać też 2-wymiarową transformatę

1.2. PROCESY GAUSSOWSKIE (NORMALNE)

7

1.1.3

Statystyki wyższych rzędów

* Wielowymiarowe dystrybuanty i rozkłady prawdopodobieństwa

* Momenty, kumulanty i polispektra

m(t

1

, t

2

, ..., t

m

) = E{x(t

1

)x(t

2

) · · · x(t

m

)}

1.1.4

Podsumowanie

* Statystyki I-go rzędu to zwykle za mało, ale np. wartość średnia może być
ważna

* Zwykle statystyki II-go rzędu

* Czasem statystyki wyższych rzędów, np. ślepa separacja

* Proces jest całkowicie określony jeśli znane są statystyki dowolnego

rzędu, zawsze skończonego

1.2

Procesy gaussowskie (normalne)

* Ważna klasa procesów, gdyż taki model upraszcza wiele teoretycznych pro-
blemów i czasem zdarza się w rzeczywistości

f (x, t) =

1

(2π)

M

2

q

detC(t)

e

−

1

2detC(t)

P

n
j,k=0

C

jk

(t)(x

j

−m

j

)(x

k

−m

k

)

* ale I-go rzędu

f (x, t) =

1

q

2πC(t, t)

e

−[x−m(t)]2

2C(t,t)

* W pełni opisane przez autokorelacje i wartości średnie

f (x, t) = N (x, t, m, R)

8

ROZDZIAŁ 1. PROCESY STOCHASTYCZNE

1.3

Procesy stacjonarne

* Stacjonarność całkowita (w ścisłym sensie), przesunięcie punktu zerowego
procesu nie wpływa na jego statystyki

F (x

1

, x

2

, ..., x

n

, t

1

+ , t

2

+ , ..., t

n

+ ) = F (x

1

, x

2

, ..., x

n

, t

1

, t

2

, ..., t

n

)

jednocześnie

f (x

1

, x

2

, ..., x

n

, t

1

+ , t

2

+ , ..., t

n

+ ) = f (x

1

, x

2

, ..., x

n

, t

1

, t

2

, ..., t

n

)

* W szczególności

f (x, t + ) = f (x, t) = f (x)

stąd

m(t) =

Z

R

xf (x, t)dx =

Z

R

xf (x) = m

brak zależności od czasu

f (x

1

, x

2

, t

1

+ , t

2

+ ) = f (x

1

, x

2

, τ )

gdzie τ = t

2

− t

1

, stąd

R(t

1

, t

2

) =

Z

R

2

x

1

x

2

f (x

1

, x

2

, t

1

, t

2

)dx

1

dx

2

=

Z

R

2

x

1

x

2

f (x

1

, x

2

, τ )dx

1

dx

2

= R(τ )

* Stacjonarność k-tego rzędu - dla k ¬ n

* Stacjonarność w szerszym sensie (słaba, w szerszym sensie) - dwa wa-

runki

m(t) = m;

R(t

1

, t

2

) = R(τ );

τ = t

2

− t

1

* Lokalna stacjonarność, quasistacjonarność

|R(t + τ, t − τ ) − R

s

(2τ )| < (T )

1.3. PROCESY STACJONARNE

9

T to przedział lokalnej stacjonarności

* Cyklostacjonarność - dla sygnałów transmisji cyfrowej

x(t) =

∞

X

n=−∞

a

n

g(t − nT )

gdzie a

n

jest sekwencją informacji (ciągiem symboli), g(t) jest oknem kształ-

tującym widmo a T jest czasem trwania symbolu. Wprowadźmy oznaczenia
m

a

= E{a

n

} i R

a

(k) = E{a

n

a

n+k

} - stacjonarność sekwencji informacyjnej

m

x

(t) = E{x(t)} = E{

∞

X

n=−∞

a

n

g(t − nT )} =

∞

X

n=−∞

E{a

n

}g(t − nT ) =

m

a

∞

X

n=−∞

g(t − nT )

czyli wartość średnia okresowo zależy od czasu

Podobnie

R

xx

(t, t + τ ) =

∞

X

n=−∞

∞

X

n=−∞

R

aa

(m, n)g(t − nT )g(t − mT )

ale

R

xx

(t + kT, t + τ + kT ) = R

xx

(t, t + τ )

Proces nazywamy cyklostacjonanym jeśli spełnione są powyższe warunki

dla średniej i autokorelacji. Zwykle operujemy wtedy wielkościami uśrednio-
nym za czas trwania symbolu

¯

m

x

=

1

T

Z

T /2

−T /2

m

x

(t)dt

¯

R

xx

(τ ) =

1

T

Z

T /2

−T /2

R

xx

(t, t + τ )dt

10

ROZDZIAŁ 1. PROCESY STOCHASTYCZNE

1.3.1

Definicje statystyk dla procesów stacjonarnych

* To tak dla porządku

R(τ ) = E{x(t)x(t + τ )}

C(τ ) = E{[x(t) − m][x(t + τ ) − m]}

σ

2

= E{[x(t) − m]

2

}

S(f ) = F T {R(τ )}

1.4

Statystyki łączne procesów

* Gdy chodzi o 2 procesy lub więcej - definicje dla stacjonarnych

* Nie ma łącznych dla I-go rzędu

* Dystrybuanta łączna II-rzędu

F (x, y, t

1

, t

2

) = P {x(t

1

) ¬ x, y(t

2

) ¬ y}

* Łączna gęstość prawdopodobieństwa

f (x, y, t

1

, t

2

) =

δ

2

F (x, y, t

1

, t

2

)

δxδy

*Statystyczna niezależność pomiędzy x(t) i y(t)

f (x, y, t

1

, t

2

) = f (x, t

1

)f (y, t

2

)

* Korelacja wzajemna

R

xy

(τ ) = E{x(t)y(t + τ )}

1.5. WŁAŚCIWOŚCI STATYSTYK

11

dla przykładu

R

xy

(τ ) =

Z

R

2

xyf (x, y, τ )dxdy

* Kowariancja wzajemna

C

xy

(τ ) = E{[x(t) − m

x

][y(t + τ ) − m

y

]}

* Wzajemna widmowa gęstość mocy

S

xy

(f ) = F T {R

xy

(τ )}

1.5

Właściwości statystyk

1.5.1

Autokorelacja

* autokorelacja w zerze to moc

R(0) = E{x(t)

2

} ­ 0

* parzystość

R(−τ ) = E{x(t)x(t − τ )} = E{x(t + τ )x(t)} = E{x(t)x(t + τ )} = R(τ )

* maksimum w zerze

|R(τ )| ¬ R(0)

* rysunek

* autokorelacja sumy procesów

z(t) = x(t) + y(t)

R

zz

(τ ) = E{[x(t)+y(t)][x(t+τ )+y(t+τ )} = R

xx

(τ )+R

xy

(τ )+R

yx

(τ )+R

yy

(τ )

12

ROZDZIAŁ 1. PROCESY STOCHASTYCZNE

1.5.2

Korelacja wzajemna

* relacja

R

xy

(−τ ) = R

yx

(τ )

* ograniczoność

R

2

xy

(τ ) ¬ R

xx

(0)R

yy

(0)

2|Rxy(τ )| ¬ R

xx

(0) + R

yy

(0)

1.5.3

Widmowa gęstość mocy

- czysto rzeczywista (brak części urojonej)

- parzystość
- nieujemna
- rysunek

1.5.4

Nieskorelowanie i ortogonalność

* nieskorelowanie

C

xy

(τ ) ≡ 0

* ortogonalność

R

xy

(τ ) ≡ 0

* ale często często spotykane określenie nieskorelowania to

R

xy

(τ ) ≡ 0

1.6. ERGODYCZNOŚĆ

13

1.6

Ergodyczność

* Definicja 1: Proces x(t) jest ergodyczny jeśli z prawdopodobieństwem 1
można wyznaczyć jego cechy probabilistyczne z pojedynczej funkcji x(t, ξ)
procesu.

* Definicja 2: Proces x(t) jest ergodyczny jeśli uśrednienie po czasie jest

równe uśrednieniu po zbiorze.

* Aby proces mógł być ergodyczny, musi być stacjonarny

* Twierdzenie ergodyczne dla wartości średniej

m = E{x(t)} = lim

T →∞

1

2T

Z

T

−T

x(t)dt

* Twierdzenie ergodyczne dla autokorelacji

R(τ ) = E{x(t)x(t + τ } = lim

T →∞

1

2T

Z

T

−T

x(t)x(t + τ )dt

* inne podobnie ale nie podawać

* ergodyczność to podstawowe założenie w teorii estymacji - później

1.7

Przykłady sygnałów stacjonarnych

* Narysować wykres czasowy, autokorelację, wgm i rozkład prawdopodobień-
stwa dla sygnałów:

* Szum biały

* Szum kolorowy

* Szum różowy

* Sygnał sinusoidalny o losowej fazie

14

ROZDZIAŁ 1. PROCESY STOCHASTYCZNE

* Sygnał telekomunikacji cyfrowej

* Fonem np. a

* Klasy równoważności - np. szum biały, chirp i losowy ciąg impulsów

1.8

Przykład z radarem

* Jest to przykład zastosowania teorii procesów stochastycznych, ale również:
prognoza, optymalna filtracja odszumiająca, kompresja, itd.

* rysunek sytuacji

1.8.1

Bez bramki

* model

y(t) = a

0

x(t) + a

1

x(t − t

1

) + bn(t)

zredukowany czas opóźnienia sygnału bezpośredniego z anteny nadawczej

- aby uprościć zależności, zresztą jest on minimalny

* emitowany sygnał i jego widmo; rysunek; omówić

* korelacja wzajemna

R

yx

(τ ) = E{[a

0

x(t) + a

1

x(t − t

1

) + bn(t)]x(t + τ )} =

a

0

R

xx

(τ ) + a

1

R

xx

(τ + t

1

) + bR

nx

(τ )

R

nx

(τ ) ≡ 0

* pierwszy element przykrywa wszystko, dlatego ...

1.9. PRZEJŚCIE SYGNAŁU PRZEZ UKŁAD LTI

15

1.8.2

Z wyłączonym odbiornikiem na czas nadawania

* model

y(t) = a

1

x(t − t

1

) + bn(t)

* rysunek

* korelacja wzajemna

R

yx

(τ ) = E{[a

1

x(t − t

1

) + bn(t)]x(t + τ )} = a

1

R

xx

(τ + t

1

) + bR

nx

(τ )

* rysunek

1.9

Przejście sygnału przez układ LTI

* Rysunek sytuacji

* Obowiązuje splot, ale jest to dla procesu, całka Stiltjesa

y(t) =

Z

∞

−∞

h(α)x(t − α)dα = x(t) ∗ h(t)

* Dystrybuanta i rozkład prawdopodobieństwa po przejściu przez układ

liniowy i nieliniowy

* Korelacja

R

yx

(τ ) = R

xx

(τ ) ∗ h(τ )

R

yy

(τ ) = R

xx

(τ ) ∗ h(τ ) ∗ h(−τ ) = R

xx

(τ ) ∗ R

hh

(τ )

* Widmowa gęstość mocy

S

yx

(f ) = S

xx

(f )H(f )

S

yy

(f ) = S

xx

(f )|H(f )|

2

16

ROZDZIAŁ 1. PROCESY STOCHASTYCZNE

1.10

Elementy identyfikacji systemu

* metoda sinusoidalna

* metoda impulsowa

* metoda z wykorzystaniem sygnałów losowych - często jedyna możliwa

do zastosowania

h(τ ) = R

yx

(τ ) ∗ R

−1

xx

(τ )

gdzie R

−1

xx

(τ ) to odwrotność w sensie splotowym

* Jeśli R

xx

(τ ) = δ(τ )

h(τ ) = R

yx

(τ )

* lub

H(f ) =

S

yx

(f )

S

xx

(f )

* Jeśli S

xx

(f ) = N

0

- szum biały

H(f ) =

1

N

0

S

yx

(f )

* brak jednoczesności rejestracji

|H(f )| =

v

u

u

t

S

yy

(f )

S

xx

(f )

* uwagi dotyczące realizacji: synchroniczność rejestracji, skończony czas

obserwacji, obecność szumu

1.11. PROCESY ZESPOLONE

17

1.11

Procesy zespolone

* dwa procesy połączone razem, szczególnie w analizie modulacji jest to ko-
rzystne

z(t) = x(t) + jy(t)

* dla procesów zespolonych w definicjach i we wzorach pojawia się ope-

racja zespolony sprzężony, ale to nie będzie omawiane

1.12

Pole losowe

* tylko wspomnieć

0

1

2

3

4

5

6

7

x 10

−5

−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

czas[s]

amplituda

Rysunek 1.1: Sygnał emitowany

18

ROZDZIAŁ 1. PROCESY STOCHASTYCZNE

0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

5

x 10

8

0

50

100

150

czest[Hz]

modul widma

Rysunek 1.2: Widmo emitowanego sygnału

1.12. POLE LOSOWE

19

−5

−4

−3

−2

−1

0

1

2

3

4

x 10

−5

−4000

−2000

0

2000

4000

6000

8000

10000

12000

opoznienie[s]

amplituda

Rysunek 1.3: Autokorelacja emitowanego sygnału

20

ROZDZIAŁ 1. PROCESY STOCHASTYCZNE

0

1

2

3

4

5

6

7

x 10

−5

−6

−4

−2

0

2

4

6

x 10

−3

czas[s]

amplituda

Rysunek 1.4: Sygnał odebrany

1.12. POLE LOSOWE

21

−5

−4

−3

−2

−1

0

1

2

3

4

x 10

−5

−4

−2

0

2

4

6

8

10

12

opoznienie[s]

amplituda

Rysunek 1.5: Korelacja wzajemna