Aleksander

Brzeziński

a.b

rzezinski@gik.p

w.edu.pl,

tel.

0607/211-589

STOCHASTYCZNE

MODELO

W

ANIE

SZEREGÓ

W

CZASO

WYCH

p

ro

cesy

auto

regresji

Kierunek:

Geo

dezja

i

Ka

rtografia

semestr:

II

2014/2015

notatki

do

wykładu

w

dniu

9.12.2014

r.

Zalecana

lektura:

Bo

x

G.E.P

.,

G.M.

Jenkins,

1983,

Analiza

szeregó

w

czaso

wyc

h,

prognozo

w

anie

i

stero

w

anie

,

PWN

W

arsza

w

a

(o

ryg.

wyd.

1976

r.).

Ma

rple

Jr.

S.L.,

1987,

Digital

sp

ectral

analysis

with

applications

,

Prentice-Hall,

Englew

o

o

d

Cliffs,

New

Jersey

,

USA.

Brzeziński

A.,

1994,

Algo

rithms

fo

r

estimating

maximum

entrop

y

co

efficients

of

the

complex-valued

time

series,

Allgemeine

V

ermessungs–Nac

hric

h

ten,

No.

3

,

pp.

101–112.

Brzeziński

A.,

1995,

On

the

interp

retation

of

maximum

entrop

y

p

o

w

er

sp

ectrum

and

cross-p

o

w

er

sp

ectrum

in

ea

rth

rotation

inve-

stigations,

man

uscripta

geo

daetica

,

V

ol.

20,

pp.

248–264.

Est

ymacja

parametró

w

mo

delu

autoregresji

Założenia:

•

Mamy

szereg

czaso

wy

o

w

artościach

rzeczywist

ych

lub

zesp

olonych,

któ

rego

p

rzebieg

wsk

a-

zuje

na

cha

rakter

loso

wy

.

•

Do

datk

ow

e

w

arunki

:

stały

interw

ał

p

róbk

ow

ania,

w

artość

średnia

0.

(Często

dok

onujemy

p

rzekształ

cenia

oryginalnego

szeregu,

ab

y

sp

ełnić

ostatni

w

arunek.

T

yp

o

w

a

meto

da

p

olega

na

lekkim

wygł

adzeniu

p

oł

ączonym

z

interp

olacją,

a

następnie

usunięciu

w

artości

średniej.)

Cel:

Est

ymacja

pa

rametró

w

mo

delu

auto

regresji

AR(p),

tzn.

wsp

ół

czynnik

ów

φ

1

,φ

2

,.

..

,φ

p

oraz

w

ariancji

szumu

generującego

p

ro

ces

σ

2 a

.

W

ażny

p

roblem:

znalezienie

opt

ymalnej

w

artości

rzędu

auto

regresji

p

.

Ogólny

opis

p

ro

cedury

est

ymacji

mo

deli

ARMA

jest

opisany

w

p

o

dręczniku

(Bo

x

i

Jenkins,

1976).

Skł

ada

się

ona

z

trzech

etap

ó

w:

•

ident

yfik

acja

mo

delu

•

est

ymacja

pa

rametró

w

mo

delu

•

sp

ra

wdzanie

diagnost

yczne

mo

delu

My

ograniczymy

się

do

czyst

ych

mo

deli

auto

regresji,

któ

re

są

szczególnie

adekw

atne

w

p

rzy-

padku,

gdy

szereg

wyk

azuje

wł

asności

p

erio

dyczne.

Est

ymacja

parametró

w

mo

delu

autoregresji

T

rendy

w

danych

są

niep

ożądane,

w

szczególności

mogą

wsk

azyw

ać

na

niestacjona

rność

p

ro

ce-

su.

T

rendy

determinist

yczne

możemy

usunąć

p

op

rzez

zamo

delo

w

anie

ich

wielomianem,

któ

rego

wsp

ół

czynniki

wyznaczamy

meto

dą

najmniejszych

kw

adrató

w.

T

rendy

sto

chast

yczne

można

wy-

elimino

w

ać

p

rzez

różnico

w

anie

(na

w

et

kilk

akrotne)

szeregu

czaso

w

ego.

Przyp

omnijmy

ró

wnania

Y

ule-W

alk

era

ϱ

1

=

φ

1

ϱ

0

+

φ

2

ϱ

−

1

+

..

.

+

φ

p

ϱ

1−

p

,

ϱ

2

=

φ

1

ϱ

1

+

φ

2

ϱ

0

+

..

.

+

φ

p

ϱ

2−

p

,

..

..

..

..

.

(1)

..

..

..

..

.

ϱ

p

=

φ

1

ϱ

p−

1

+

φ

2

ϱ

p−

2

+

..

.

+

φ

p

ϱ

0

,

w

któ

rych

ϱ

0

=

1

oraz

ϱ

−

j

=

ϱ

∗ j

dla

j

̸=

0

.

W

ró

wnaniach

tych

możemy

zastąpić

nieznane

autok

orelacje

p

rzez

ich

est

ymato

r

p

róbk

owy

ˆρ

k

=

ˆγ

k

ˆγ

0

,

(2)

w

któ

rym

est

ymato

r

p

róbk

owy

autok

ow

ariancji

jest

dany

wzo

rem

ˆγ

k

=

1

N

N

−

k

∑

t=1

(z

t+

k

−

ˆ E

z

t

)(

z

t

−

ˆ E

z

t

)

∗

,

o

raz

ˆ E

z

t

=

1

N

N

∑

t=1

z

t

.

(3)

Est

ymacja

parametró

w

mo

delu

autoregresji

Czasem

używ

a

się

alternat

ywnej

fo

rmuły

liczenia

est

ymato

ra

p

róbk

ow

ego

funk

cji

autok

ow

ariancji

ˆγ

k

=

1

N

−

k

N

−

k

∑

t=1

(z

t+

k

−

ˆ E

z

t

)(

z

t

−

ˆ E

z

t

)

∗

.

(4)

T

ak

zdefinio

w

any

est

ymato

r

jest

nieob

ciążony

.

Na

ogół

p

refero

w

any

jest

est

ymato

r

(3)

któ

ry

jest

tylk

o

asymptot

ycznie

nieob

ciążony

,

ale

za

to

jest

est

ymato

rem

najba

rdziej

efekt

ywnym

(tzn.

o

najmniejszej

w

ariancji).

T

eraz

możemy

p

o

dsta

wić

ˆρ

k

do

ró

wnań

Y

ule-W

alk

era,

a

następnie

obliczyć

est

ymatę

w

ekto

ra

⃗φ

=

(φ

1

φ

2

..

.φ

p

)

T

ze

wzo

ru

ˆ ⃗φ

=

R

−

1



          

ˆρ

1

ˆρ

2

. . .

ˆρ

p



          

,

(5)

gdzie

R

=



               

1

ˆρ

∗ 1

ˆρ

∗ 2

··

·

ˆρ

∗ p−

1

ˆρ

1

1

ˆρ

∗ 1

··

·

ˆρ

∗ p−

2

ˆρ

2

ˆρ

1

1

··

·

ˆρ

∗ p−

3

. . .

. . .

. . .

. .

.

. . .

ˆρ

p−

1

ˆρ

p−

2

ˆρ

p−

3

··

·

1



               

(6)

jest

macierzą

teplico

wsk

ą

(T

o

eplitz

matrix

,

te

same

element

y

na

p

rzek

ątnych)

a

jedno

cześnie

hermito

wsk

ą

(samosp

rzężoną,

R

H

=

(R

∗

)

T

=

R

).

Est

ymacja

parametró

w

mo

delu

autoregresji

Następnie

liczymy

est

ymato

r

w

ariancji

szumu

generującego

p

ro

ces

ze

wzo

ru

ˆσ

2

a

=

ˆσ

2

z

(

1

−

ˆφ

1

ˆϱ

∗ 1

−

ˆφ

2

ˆϱ

∗ 2

−

..

.−

ˆφ

p

ˆϱ

∗ p

)

.

(7)

Opisana

wyżej

meto

da

est

ymacji

p

ro

cesu

AR(p)

dob

rze

sp

ra

wdza

się

jak

o

pierwsze

p

rzybliże-

nie,

ale

do

wielu

p

rakt

ycznych

zastoso

w

ań

jej

dokł

adność

może

b

yć

niewysta

rczająca.

Istnieją

dokł

adniejsze

algo

rytmy

liczenia

pa

rametró

w

auto

regresji,

o

któ

rych

p

o

wiemy

w

dalszej

części

wykł

adu.

Optymalny

rząd

p

pr

o

cesu

autor

egr

esji

Dob

ó

r

wł

aściw

ego

rzędu

auto

regresji

jest

w

ażnym

elementem

est

ymacji,

p

oniew

aż

•

zb

yt

niski

rząd

p

o

w

o

duje

nadmierne

wygł

adzenie

widma

p

ro

cesu,

niektó

re

linie

widma

mogą

się

kompletnie

“zagubić”;

•

zb

yt

wysoki

rząd

p

ow

o

duje

wł

ączenie

do

mo

delu

elementó

w

zmienności

sto

chast

ycznej,

co

może

się

p

rzeja

wiać

p

oja

wieniem

się

nierealnych

linii

widmo

wych.

Istnieje

szereg

obiekt

ywnych

kryterió

w

dob

o

ru

rzędu

auto

regresji.

P

olegają

one

na

znajdo

w

aniu

minimum

p

ewnej

funk

cji

zależnej

o

d

rzędu

p

p

ro

cesu

AR

i

w

ariancji

σ

2 a

(p

)

szumu

generującego

p

ro

ces.

Wymienimy

trzy

kryteria.

Est

ymacja

parametró

w

mo

delu

autoregresji

FPE

(final

p

rediction

erro

r)

FPE

(p

)

=

ˆσ

2

a

(p

)

N

+

(p

+

1)

N

−

(p

+

1)

(8)

AIC

(Ak

aik

e

info

rmation

criterion

)

AIC

(p

)

=

N

ln

(

ˆσ

2

a

(p

)

)

+

2

p

(9)

CA

T

(criterion

auto

regressive

transfer

)

CA

T

(p

)

=



 

1

N

p

∑

j

=1

¯σ

−

1

j



 

−

¯σ

−

1

p

(10)

gdzie

¯σ

j

=

N

N

−

j

ˆσ

2 a

(p

).

W

p

rzypadku

danych

rzeczywist

ych

żadne

z

wymienionych

kryterió

w

nie

daje

p

ewności,

że

do-

b

ó

r

rzędu

p

ro

cesu

jest

wł

aściwy

.

Niektó

re

p

race

p

ok

azują

np.,

że

dla

skł

ado

wych

ha

rmonicznych

zanurzonych

w

szumie

kryteria

FPE

i

AIC

mają

tendencję

do

zaniżania

rzędu

p

ro

cesu.

Za

wsze

p

ozostaje

element

subiekt

ywny

,

któ

ry

wynik

a

z

doświadczenia

nab

ytego

p

o

dczas

stoso

w

ania

mo

deli

AR.

Jak

b

ył

o

p

owiedziane

w

cześniej,

meto

da

est

ymacji

p

ro

cesu

AR

wyk

orzystująca

est

ymato

ry

p

róbk

ow

e

funk

cji

autok

ow

ariancji,

nie

zap

ewnia

wysokiej

dokł

adności.

Istnieją

algo

rytmy

dające

zdecydo

w

anie

wyższą

dokł

adność.

Jeden

z

nich

jest

opa

rt

y

na

w

arunku

największej

entropii

(maximum

entrop

y

metho

d

–

MEM).

Est

ymacja

parametró

w

mo

delu

autoregresji

W

arunek

największej

entropii

jest

ró

wno

w

ażny

kryterium

najmniejszych

kw

adrató

w

wpisania

mo

delu

AR

do

analizo

w

anego

szeregu

czaso

w

ego.

Dw

a

algo

rytmy

są

dostępne

dla

meto

dy

MEM:

1.

algo

rytm

rekurencyjny

zap

rop

ono

w

any

p

rzez

Burga

(1967,

1968)

2.

algo

rytm

najmniejszych

kw

adrató

w

op

raco

w

any

p

rzez

Ba

rro

dale

i

Ericksona

(1980)

i

uogól-

niony

na

p

rzypadek

szeregó

w

o

w

artościach

zesp

olonych

w

p

racy

(Brzeziński,

1994)

Drugi

algo

rytm

wymaga

zdecydo

w

anie

większej

mo

cy

obliczenio

w

ej,

ale

jest

ba

rdziej

stabilny

w

p

rzypadku

krótkich

szeregó

w,

bądź

p

ro

cesó

w

o

biegunach

bliskich

okręgu

jednostk

ow

ego

(tzn.

na

granicy

stacjona

rności).

W

standa

rdo

wych

sytuacjach

oba

algo

rytmy

dają

ba

rdzo

zbliżone

wyniki.

W

ażną

zaletą

algo

rytmu

rekurencyjnego

jest

sp

ełnienie

p

rzez

o

dp

owiadający

mu

est

ymato

r

funk

cji

gęstości

widmo

w

ej

ˆp

z

z

(f

)

wynik

ającego

z

teo

rii

w

arunku

f

N

∫

−

f

N

ˆp

z

z

(f

)d

f

=

ˆσ

2

z

.

(11)

Est

ymato

r

funk

cji

ˆp

z

z

(f

)

wyznaczony

p

rzy

p

omo

cy

algo

rytmu

najmniejszych

kw

adrató

w

nie

musi

sp

ełniać

p

o

wyższego

ró

wnania.

Obszerna

dyskusja

dot

ycząca

stoso

w

ania

mo

deli

auto

regresji

i

meto

dy

MEM

w

badaniach

ruchu

ob

roto

w

ego

Ziemi

jest

p

rzedsta

wiona

w

p

racy

(Brzeziński,

1995).