Aleksander

Brzeziński

a.b

rzezinski@gik.p

w.edu.pl,

tel.

0607/211-589

STOCHASTYCZNE

MODELO

W

ANIE

SZEREGÓ

W

CZASO

WYCH

p

ro

cesy

auto

regresji

Kierunek:

Geo

dezja

i

Ka

rtografia

semestr:

II

2014/2015

notatki

do

wykładu

w

dniu

2.12.2014

r.

Pro

cesy

autoregresji

Przyp

omnienie

.

Pro

ces

auto

regresji

rzędu

p

,

AR(

p

),

jest

opisany

następującym

ró

wnaniem

z

t

−

φ

1

z

t−

1

−

φ

2

z

t−

2

−

..

.−

φ

p

z

t−

p

=

a

t

,

(1)

w

któ

rym

z

t

=

z

(t

)

oznacza

w

artość

p

ro

cesu

w

chwili

t,

(t

=

t

◦

,t

1

,t

2

,.

..

,

interw

ał

p

róbk

ow

ania

t

j

−

t

j−

1

=

∆

t

=

const.

=

1

),

φ

1

,.

..

,φ

p

są

stałymi

wsp

ół

czynnik

ami,

natomiast

{

a

t

}

jest

cią-

giem

niesk

orelo

w

anych

impulsó

w

loso

wych

o

w

artości

o

czekiw

anej

zero

i

w

ariancji

σ

2 a

,

b

ędącym

realizacją

biał

ego

szumu

o

rozkł

adzie

Gaussa.

F

unkcja

autokor

elacji

.

F

unk

cja

autok

orelacji

p

ro

cesu

{

z

t

}

dla

op

óźnienia

k

jest

definio

w

ana

ró

wnaniem

ϱ

k

=

γ

k

/γ

o

=

γ

k

/σ

2

z

,

(2)

w

któ

rym

γ

k

=

Cov

[z

t

,z

t−

k

]

=

E

[

(z

t

−

E

[z

t

])(

z

t−

k

−

E

[z

t−

k

])

∗

]

(3)

jest

funk

cją

autok

ow

ariancji

dla

op

óźnienia

k

,

E

oznacza

stat

yst

yczną

w

artość

o

czekiw

aną

a

“

z

∗

”

sp

rzężenie

zesp

olone

(tzn.

dla

do

w

olnego

z

=

x

+

iy

zacho

dzi

z

∗

=

x

−

iy

).

Dla

stacjona

rnego

p

ro

cesu

AR(

p

)

i

p

rzy

zał

ożeniu

E

[a

t

]

=

0

,

zacho

dzi

E

[z

t

]

=

0

,

natomiast

funk

cja

autok

orelacji

nie

zależy

o

d

czasu

t

i

sp

ełnia

następujące

ró

wnanie

rekurencyjne

ϱ

k

=

φ

1

ϱ

k−

1

+

φ

2

ϱ

k−

2

+

..

.

+

φ

p

ϱ

k−

p

,

k

>

0

,

(4)

z

ϱ

−

k

=

ϱ

∗ k

oraz

ϱ

o

=

1

.

(Ćwiczenie:

Proszę

wyp

ro

w

adzić

p

o

wyższą

zależność

k

o

rzystając

z

r-ń

(1)–(3))

Pierwsze

p

ró

wnań

p

ostaci

(4)

tw

orzy

tzw.

ukł

ad

ró

wnań

Y

ule-W

alk

era,

któ

ry

może

b

yć

wyk

o-

rzystany

do

obliczenia

wsp

ół

czynnik

ów

φ

1

,φ

2

,.

..

,φ

p

na

p

o

dsta

wie

danych

ϱ

1

,ϱ

2

,.

..

,ϱ

p

ϱ

1

=

φ

1

ϱ

0

+

φ

2

ϱ

−

1

+

..

.

+

φ

p

ϱ

1−

p

,

ϱ

2

=

φ

1

ϱ

1

+

φ

2

ϱ

0

+

..

.

+

φ

p

ϱ

2−

p

,

..

..

..

(5)

..

..

..

ϱ

p

=

φ

1

ϱ

p−

1

+

φ

2

ϱ

p−

2

+

..

.

+

φ

p

ϱ

0

,

gdzie

ϱ

−

k

=

ϱ

∗ k

oraz

ϱ

o

=

1

.

Jeśli

φ

1

,φ

2

,.

..

,φ

p

są

znane,

jak

to

ma

miejsce

w

oma

wianym

p

rzypadku,

wysta

rczy

rozwiązać

p

−

1

pierwszych

ró

wnań

na

ϱ

1

,ϱ

2

,.

..

,ϱ

p−

1

,

i

dalej

liczyć

ϱ

k

,

dla

k

­

p

,

z

ró

wnania

rekurencyjnego

(4)

zaczynając

o

d

ϱ

o

=

1

,

ϱ

1

,ϱ

2

,.

..

,ϱ

p−

1

.

Ró

wnanie

(4)

można

zapisać

w

w

ersji

op

erato

ro

w

ej

(1

−

φ

1

B

−

φ

2

B

2

−

..

.−

φ

p

B

p

)ϱ

k

=

φ

(B

)ϱ

k

=

0

,

k

>

0

,

(6)

gdzie

op

erato

r

p

rzesunięcia

wstecz

B

dział

a

na

k

.

F

unk

cja

autok

orelacji

p

ro

cesu

AR(

p

)

sp

ełnia

to

samo

ró

wnanie

różnico

w

e,

co

sam

p

ro

ces,

z

wyjątkiem

tego,

że

p

ra

w

a

strona

jest

zerem.

Przyp

omnijmy

,

że

takie

samo

ró

wnanie

sp

ełnia

funk

cja

p

rognozy

p

ro

cesu

AR(

p

)

ˆz

t

=

φ

1

z

t−

1

+

φ

2

z

t−

2

+

..

.

+

φ

p

z

t−

p

,

(7)

otrzymana

p

op

rzez

zastąpienie

nieznanych

impulsó

w

loso

wych

a

t

ich

w

artością

o

czekiw

aną

0.

Wariancja

.

W

ariancja

p

ro

cesu

AR(

p

)

jest

dana

ró

wnaniem

(Ćwiczenie:

p

roszę

wyp

ro

w

adzić

z

r-ń

(1)–(3))

σ

2

z

=

σ

2 a

1

−

φ

1

ϱ

∗ 1

−

φ

2

ϱ

∗ 2

−

..

.−

φ

p

ϱ

∗ p

=

σ

2 a

1

−

φ

∗ 1

ϱ

1

−

φ

∗ 2

ϱ

2

−

..

.−

φ

∗ p

ϱ

p

.

(8)

Widmo

.

F

unk

cja

gęstości

widmo

w

ej

mo

cy

PSD

p

ro

cesu

AR(

p

)

opisana

jest

wzo

rem

p

z

z

(f

)

=

p

aa

(f

)·

|H

d

(f

)|

2

dla

−

1

2∆

t

<

f

¬

1

2∆

t

,

(9)

w

któ

rym

p

aa

(f

)

jest

gęstością

widmo

w

ą

szumu

a

t

generującego

p

ro

ces

z

t

,

H

d

(f

)

–

funk

cją

p

rze-

noszenia

filtru

linio

w

ego

z

t

=

ψ

(B

)a

t

(tzn.

¯z

(f

)

=

H

d

(f

)·

¯a

(f

),

gdzie

¯z

,

¯a

oznaczają

transfo

rmatę

F

ouriera

o

dp

o

wiednio

z

t

,a

t

),

∆

t

–

p

rzedział

em

p

róbk

ow

ania

a

f

–

częstotliw

ością

wyrażoną

w

cyklach

na

jednostk

ę

czasu.

Ciąg

a

t

jest

realizacją

biał

ego

szumu,

zatem

jego

gęstość

widmo

w

a

jest

stał

a

i

wynosi

σ

2 a

∆

t,

natomiast

funk

cja

p

rzenoszenia

(zob.

p

op

rzedni

wykł

ad)

p

rzyjmuje

p

ostać

H

d

(f

)

=

ψ

(e

−

i2

π

f

∆

t

)

=

1

/φ

(e

−

i2

π

f

∆

t

).

P

o

dsta

wiając

do

ró

wnania

(9)

otrzymujemy

p

z

z

(f

)

=

σ

2

a

∆

t·

|H

d

(f

)|

2

=

σ

2 a

∆

t

|φ

(e

−

2

π

if

∆

t

)|

2

dla

−

1

2∆

t

<

f

¬

1

2∆

t

.

(10)

W

p

rzypadku

p

ro

cesó

w

AR

o

w

artościach

rzeczywist

ych

funk

cja

PSD

opisana

wyrażeniem

(10)

jest

symetryczna,

tzn.

p

z

z

(−

f

)

=

p

z

z

(f

).

W

związku

z

tym

p

o

wyższe

wyrażenie

mnoży

się

na

ogół

p

rzez

2

i

rozpatruje

na

p

rzedziale

0

¬

f

¬

1

/

2∆

t.

R

ozkład

na

czynniki

(ang.

facto

rization

).

Sto

chast

yczne

wł

asności

op

erato

ra

auto

regresji

AR

można

lepiej

zrozumieć

jeśli

dok

onamy

fo

rmalnego

rozkł

adu

op

erato

ra

φ

(B

)

na

czynniki

linio

w

e

φ

(B

)

=

(1

−

G

1

B

)(1

−

G

2

B

)

..

.(1

−

G

p

B

)

,

(11)

gdzie

λ

i

=

1

/G

i

są

zerami

wielomianu

φ

(B

),

zesp

olonymi

w

ogólności.

Znane

twierdzenie

(np.

Bo

x

i

Jenkins,

1976)

mó

wi,

że

w

arunkiem

koniecznym

i

dostatecznym

stacjona

rności

p

ro

cesu

AR(

p

)

jest

|G

j

|

<

1

,

dla

j

=

1

,.

..

,p.

(12)

Zał

óżmy

teraz,

że

G

j

są

różne

i

sp

ełniają

w

arunek

stacjona

rności

(12).

Z

ró

wnania

(11)

liczymy

funk

cję

p

rzenoszenia

o

dp

o

wiadającego

filtru

linio

w

ego

ψ

(B

)

=

φ

−

1

(B

)

=

1

(1

−

G

1

B

)(1

−

G

2

B

)

..

.(1

−

G

p

B

)

=

p

∑

j

=1

b

j

1

−

G

j

B

.

(13)

w

któ

rej

b

j

są

stałymi

wsp

ół

czynnik

ami.

Dla

p

ojedynczego

skł

adnik

a

zacho

dzi

wzó

r

1

1

−

G

j

B

=

∞

∑

l=0

G

l

j

B

l

.

(14)

Jeśli

|G

j

|

<

1

w

ów

czas

szereg

występujący

p

o

p

ra

w

ej

stronie

ró

wnania

(14)

jest

zbieżny

na

kole

jednostk

owym

|B

|¬

1

,

gdzie

op

erato

r

B

traktujemy

jak

liczb

ę

zesp

oloną.

Rozwiązanie

ró

wnania

różnico

w

ego

(4)

opisującego

funk

cję

autok

orelacji

ϱ

k

p

rzyjmuje

p

ostać

ϱ

k

=

A

1

G

k

1

+

A

2

G

k

2

+

..

.

+

A

p

G

k

p

,

k

­

0

,

(15)

gdzie

wsp

ół

czynniki

A

1

,A

2

,.

..

,A

p

mogą

b

yć

wyliczone

p

o

p

o

dsta

wieniu

w

artości

ϱ

o

=

1

oraz

ϱ

1

,.

..

,ϱ

p−

1

wyznaczonych

z

pierwszych

p

−

1

ró

wnań

ukł

adu

(5).

Z

w

cześniejszych

rozw

ażań

wynik

a,

że

ident

yczną

p

ostać

ma

funk

cja

p

rognozy

szeregu

AR(

p

).

Zał

óżmy

,

że

p

ro

ces

auto

regresji

p

rzyjmuje

w

artości

zesp

olone

o

raz

G

j

=

d

j

e

i2

π

f

j

∆

t

j

=

1

,.

..

,p,

(16)

gdzie

−

f

N

<

f

j

¬

f

N

,

f

N

=

1

/

2∆

t.

W

arunek

stacjona

rności

implikuje

0

<

d

j

<

1

.

Czł

on

j

autok

orelacji

ϱ

k

p

rzyjmuje

p

ostać

A

j

G

k

j

=

A

j

d

k

j

e

i2

π

f

j

k

∆

t

.

(17)

Mo

duł

maleje

w

p

ostępie

geometrycznym,

natomiast

argument

zmienia

się

linio

w

o,

o

ile

f

j

̸=

0

i

f

j

̸=

f

N

.

Okres

p

ełnego

cyklu

wynosi

k

∆

t

=

1

/f

j

.

Dla

f

j

=

0

oraz

f

j

=

f

N

ciąg

G

k j

jest

ciągiem

geometrycznym

o

w

artościach

rzeczywist

ych.

Czas

relaksacji,

tzn.

zmniejszenia

się

mo

dułu

o

czynnik

1

/e

,

wynosi

k

=

[−

ln

(d

j

)]

−

1

.

A

zatem

funk

cja

autok

orelacji

skł

ada

się

z

p

róbk

ow

a-

nych

w

ró

wnych

o

dstępach

czasu

sinusoid

zesp

olonych

o

malejących

wykł

adniczo

mo

duł

ach.

W

szczególnym

p

rzypadku

argument

sinusoidy

może

b

yć

ró

wny

0

bądź

π

i

o

dp

owiadający

czł

on

jest

ciągiem

liczb

rzeczywist

ych

zbieżnym

monotonicznie

bądź

nap

rzemiennie

do

zera.

Zał

óżmy

teraz,

że

mamy

p

ro

ces

auto

regresji

o

w

artościach

rzeczywist

ych,

a

zatem

ró

wnież

ciąg

wsp

ół

czynnik

ów

φ

1

,φ

2

,.

..

,φ

p

wielomianu

φ

(B

)

p

rzyjmuje

w

artości

rzeczywiste.

Są

możliw

e

dwie

następujące

sytuacje:

1.

Niektó

re

G

j

są

rzeczywiste

i

o

dp

o

wiadający

im

ciąg

A

j

G

k j

zanik

a

w

p

ostępie

geometrycznym,

ze

stałym

lub

zmieniającym

się

znakiem.

2.

Występuje

pa

ra

wsp

ół

czynnik

ów

zesp

olonych,

wzajemnie

sp

rzężonych

G

m

i

G

n

G

m,n

=

de

±

i2

π

f

o

∆

t

gdzie

0

<

f

o

∆

t

<

0

.5

.

(18)

P

oniew

aż

ϱ

k

p

rzyjmuje

w

artości

rzeczywiste

dla

wszystkich

k

,

zatem

A

m

i

A

n

w

ró

wnaniu

(15)

muszą

b

yć

ró

wnież

wzajemnie

sp

rzężone

i

funk

cja

autok

orelacji

za

wiera

tłumioną

sinusoidę

A

m

G

k

m

+

A

n

G

k

n

=

C

d

k

sin(2

π

f

o

k

∆

t

+

F

)

,

(19)

gdzie

f

o

,

F

,

d

są

o

dp

o

wiednio

częstotliw

ością,

fazą

i

wsp

ół

czynnikiem

tłumienia,

a

C

stał

ą.

Mó

wimy

o

pseudop

erio

dycznym

zacho

w

aniu

się

p

ro

cesu

AR.

Z

ró

wnania

(19)

wynik

a

interp

re-

tacja:

opisany

ró

wnaniem

czł

on

funk

cji

autok

orelacji

o

dp

o

wiada

mo

delo

wi

p

obudzanego

loso

w

o

oscylato

ra

ha

rmonicznego

z

tłumieniem.

Jego

okres

wynosi

1

/f

o

,

a

czas

relaksacji

(−

lnd

)

−

1

.

Dla

mniejszego

d

tłumienie

jest

silniejsze

i

o

dp

o

wiadające

maksimum

w

widmie

mo

cy

jest

sze-

rokie.

Kiedy

d

zbliża

się

do

jedynki

tłumienie

maleje

i

o

dp

owiadająca

linia

widmo

w

a

staje

się

w

ąsk

a,

natomiast

p

ro

ces

staje

się

sł

ab

o

stacjona

rny

.

W

p

rzypadku

p

ro

cesu

AR(

p

)

o

w

artościach

zesp

olonych

pseudop

erio

dyczność

jest

możliw

a

już

w

p

rzypadku

p

=

1

(r-nie

(17)),

natomiast

w

p

rzypadku

p

ro

cesu

o

w

artościach

rzeczywist

ych

jest

to

możliw

e

dopiero

dla

p

=

2

(r-nia

(18)–(19)).

Na

koniec

zau

w

ażmy

,

że

funk

cja

p

rognozy

p

ro

cesu

AR

za

wiera

ró

wnież

czł

ony

opisane

wyra-

żeniami

p

ostaci

(16)

do

(19).

Przykład

1

.

Pro

ces

AR(1)

(o

w

artościach

rzeczywist

ych

bądź

zesp

olonych).

Ró

wnanie

opisujące

p

ro

ces

z

t

−

φz

t−

1

=

a

t

,

pa

rametry

definiujące

φ,

σ

2

a

.

(20)

Zapis

w

p

ostaci

filtru

linio

w

ego

z

t

=

∞ ∑

j

=0

φ

j

a

t−

j

.

(21)

W

arunek

stacjona

rności:

|φ

|

<

1

.

(22)

F

unk

cja

autok

o

relacji:

ϱ

k

=

φ

k

dla

k

­

0

,

o

raz

ρ

−

k

=

ρ

∗ k

.

(23)

W

ariancja:

σ

2

z

=

σ

2 a

1

−

|φ

|

2

.

(24)

F

unk

cja

gęstości

widmo

w

ej:

p

z

z

(f

)

=

σ

2 a

|1

−

φe

−

2

π

if

∆

t

|

2

dla

−

1

2∆

t

¬

f

¬

1

2∆

t

.

(25)

P

o

dsta

wiając

φ

=

de

i2

π

f

◦

∆

t

,−

1

/

2

<

f

◦

∆

t

¬

1

/

2

,

otrzymujemy

p

z

z

(f

)

=

σ

2 a

1

+

d

2

−

2

d

cos[2

π

(f

−

f

◦

)∆

t]

dla

−

1

2∆

t

¬

f

¬

1

2∆

t

.

(26)

W

p

rzypadku

p

ro

cesu

AR

o

w

artościach

rzeczywist

ych

należy

w

p

o

wyższym

wzo

rze

p

o

dsta

wić

d

=

φ

,

f

◦

=

0

i

p

rzemnożyć

p

rzez

2

p

z

z

(f

)

=

2

σ

2 a

1

+

φ

2

−

2

φ

cos

2

π

f

∆

t

dla

0

¬

f

¬

1

2∆

t

.

(27)

W

p

rzypadku

φ

=

1

otrzymujemy

tzw.

p

ro

ces

bł

ądzenia

p

rzypadk

o

w

ego

(ang.

random

walk

pr

o

cess

),

któ

ry

nie

jest

stacjona

rny

,

w

związku

z

czym

p

o

wyższe

ró

wnania

nie

mogą

b

yć

stoso

w

ane.

Jego

funk

cja

autok

o

relacji

zależy

nie

tylk

o

o

d

op

óźnienia

czaso

w

ego,

ale

także

o

d

czasu,

a

funk

cja

gęstości

widmo

w

ej

dąży

do

niesk

ończoności

p

rzy

f

→

0

.

Przykład

2

.

Pro

ces

AR(2)

o

w

artościach

rzeczywist

ych.

Ró

wnanie

opisujące

p

ro

ces

z

t

−

φ

1

z

t−

1

−

φ

2

z

t−

2

=

a

t

,

pa

rametry

definiujące

φ

1

,φ

2

,σ

2

a

.

(28)

Zapis

w

p

ostaci

filtru

linio

w

ego

z

t

=

1

G

1

−

G

2

∞ ∑

j

=0

(G

j

+1

1

−

G

j

+1

2

)a

t−

j

=

a

t

+

∞ ∑

j

=1





j ∑

ℓ=0

G

ℓ

1

G

j−

ℓ

2





a

t−

j

,,

gdzie

G

1

+

G

2

=

φ

1

,

G

1

G

2

=

−

φ

2

.

(29)

Jeśli

G

1

,2

=

de

±

i2

π

f

◦

∆

t

,

p

rzy

zacho

w

aniu

w

arunku

0

<

f

◦

∆

t

<

0

.5

,

p

o

wyższe

ró

wnanie

p

rzyjmuje

p

ostać

z

t

=

∞ ∑

j

=0

d

j

sin

2

π

f

◦

(j

+

1)∆

t

sin

2

π

f

◦

∆

t

a

t−

j

.

(30)

W

arunek

stacjona

rności:

φ

1

+

φ

2

<

1;

φ

2

−

φ

1

<

1;

−

1

<

φ

2

<

1

.

(31)

F

unk

cja

autok

o

relacji:

ϱ

k

=

φ

1

ϱ

k−

1

+

φ

2

ϱ

k−

2

dla

k

>

0

,

o

raz

ρ

−

k

=

ρ

k

.

(32)

P

o

dsta

wiając

w

p

o

wyższym

ró

wnaniu

ϱ

o

=

1

,k

=

1

otrzymujemy

ϱ

1

=

φ

1

/

(1

−

φ

2

),

a

następnie

możemy

k

ont

ynuo

w

ać

p

ro

cedurę

dla

k

=

2

,3

,.

..

.

Rozwiązanie

ogólne

wyrażone

p

rzez

pa

rametry

G

1

,G

2

p

rzyjmuje

p

ostać

ϱ

k

=

G

1

(1

−

G

2 2

)G

k 1

−

G

2

(1

−

G

2 1

)G

k 2

(1

+

G

1

G

2

)(

G

1

−

G

2

)

dla

k

­

0

,

o

raz

ρ

−

k

=

ρ

k

.

(33)

P

o

dsta

wienie

G

1

,2

=

de

±

i2

π

f

◦

∆

t

o

raz

p

roste

rachunki

(p

roszę

sp

ra

wdzić!)

p

ro

w

adzą

do

wyrażenia

ϱ

k

=

d

k

sin

F

sin

(2

π

f

◦

k

∆

t

+

F

)

dla

k

­

0

,

gdzie

ctg

F

=

1

−

d

2

1

+

d

2

ctg

(2

π

f

◦

∆

t)

.

(34)

W

ariancja:

σ

2

z

=

1

−

φ

2

1

+

φ

2

σ

2 a

(1

−

φ

2

)

2

−

φ

2 1

=

(1

+

G

1

G

2

)σ

2 a

(1

−

G

1

G

2

)(1

−

G

2 1

)(1

−

G

2 2

)

.

F

unk

cja

gęstości

widmo

w

ej:

p

z

z

(f

)

=

2

σ

2 a

1

+

φ

2 1

+

φ

2 2

−

2

φ

1

(1

−

φ

2

)

cos

2

π

f

∆

t−

2

φ

2

cos

4

π

f

∆

t

=

2

σ

2 a

(1

+

G

2 1

)(1

+

G

2 2

)

+

2

G

1

G

2

−

2(

G

1

+

G

2

)(1

+

G

1

G

2

)

cos

2

π

f

∆

t

+

2

G

1

G

2

cos

4

π

f

∆

t

,

0

¬

f

¬

1

2∆

t

.

(35)

Zadanie

Mamy

p

ro

ces

AR(2)

z

t

=

0

.75

z

t−

1

−

0

.50

z

t−

2

+

a

t

,

σ

2

a

=

1

∆

t

=

1

h

.

Rozł

ożyć

op

erato

r

regresji

na

czynniki

linio

w

e,

a

następnie

sp

ra

wdzić

stacjona

rność,

wyznaczyć

cha

rakteryst

yki

czaso

w

e,

obliczyć

w

ariancję,

napisać

wzó

r

na

funk

cję

autok

orelacji

i

funk

cję

gęstości

widmo

w

ej.

Naszkico

w

ać

funk

cję

gęstości

widmo

w

ej,

najlepiej

z

wyk

orzystaniem

grafiki

komputero

w

ej.