Aleksander Brzeziński

[e-mail], tel. [phone]

STOCHASTYCZNE MODELOWANIE SZEREGÓW CZASOWYCH

procesy autoregresji

Kierunek: Geodezja i Kartografia semestr: II 2014/2015

notatki do wykładu w dniu 25.11.2014 r.

Zalecana lektura:

Box G.E.P., G.M. Jenkins, 1983, Analiza szeregów czasowych, prognozowanie i sterowanie, PWN Warszawa (oryg. wyd. z 1976 roku)

Marple Jr. S.L., 1987, Digital spectral analysis with applications, Prentice-Hall, Englewood Cliffs, New Jersey, USA

Procesy autoregresji

Dyskretne procesy autoregresji
Procesy autoregresji (ang. autoregressive processes – AR) odgrywają ważną rolę w modelowaniu
stochastycznych procesów czasowych. Decyduje o tym szereg zalet, jak np.:

• dobrze rozpracowana teoria oraz efektywne algorytmy dopasowania współczynników modelu

do danych obserwacyjnych;

• estymacja widma mocy o dużej rozdzielczości w porównaniu z klasycznymi technikami analizy

fourierowskiej;

• model nadaje się idealnie do prognozowania przyszłych wartości szeregu;

• model AR zastosowany do opisu funkcji pobudzającej liniowego układu dynamicznego może

być wykorzystany jako element filtru Kalmana.

Proces autoregresji rzędu p, AR(p), jest opisany następującym równaniem

z

t

− ϕ

1

z

t

−1

− ϕ

2

z

t

−2

− . . . − ϕ

p

z

t

−p

= a

t

,

(1)

w którym z

t

= z(t) oznacza wartość procesu w chwili t, (t = t

0

, t

1

, t

2

, . . .

, gdzie interwał

próbkowania t

j

− t

j

−1

= ∆t jest stały), ϕ

1

, . . . , ϕ

p

są stałymi współczynnikami modelu, na-

tomiast {a

t

} jest ciągiem nieskorelowanych impulsów losowych o wartości oczekiwanej zero i

wariancji σ

2

a

, będącym realizacją białego szumu o rozkładzie Gaussa. Dla uproszczenia zapisu

przyjmujemy, że ∆t = 1 jest jednostką czasu.

Uwagi

• Proces autoregresji może przyjmować wartości rzeczywiste bądź zespolone. Znane są również

uogólnienia na modele wektorowo-macierzowe (ang. multivariate AR processes), które nie
będą tutaj rozpatrywane.

• Proces AR(p) jest w pełni opisany przez p + 1 parametrów, p współczynników autoregresji

ϕ

j

oraz wariancję σ

2

a

szumu {a

t

} generującego proces.

• Bieżąca wartość procesu z

t

jest liniową kombinacją p poprzedzających wartości procesu oraz

losowego impulsu a

t

. Podstawiając za nieznane przyszłe wartości impulsów losowych a

t

+1

,

a

t

+2

, . . . ich wartość oczekiwaną równą zero, otrzymujemy prognozę procesu.

Jeśli zdefiniujemy operator przesunięcia wstecz (ang. backshift operator) B

Bz

t

= z

t

−1

,

(2)

wówczas równanie (1) możemy zapisać w następującej postaci operatorowej

ϕ

(B)z

t

= a

t

,

(3)

gdzie

ϕ

(B) = 1 − ϕ

1

B

− ϕ

2

B

2

− . . . − ϕ

p

B

p

(4)

jest operatorem autoregresji AR(p). W ostatnim wzorze potęgi B należy rozumieć jako wielo-
krotne złożenie operatora B a 1 (= B

0

) jako operator identyczności.

Proces autoregresji AR(p) jest szczególnym przypadkiem procesu autoregresji i średniej ru-
chomej

(ang. autoregressive moving-average process), ARMA(p, q), opisanego równaniem

z

t

− ϕ

1

z

t

−1

− ϕ

2

z

t

−2

− . . . − ϕ

p

z

t

−p

= a

t

− ϑ

1

a

t

−1

− ϑ

2

a

t

−1

− . . . − ϑ

q

a

t

−q

,

(5)

lub w równoważnej postaci operatorowej

ϕ

(B)z

t

= ϑ(B)a

t

,

(6)

gdzie operator średniej ruchomej MA(q) przyjmuje postać

ϑ

(B) = 1 − ϑ

1

B

− ϑ

2

B

2

− . . . − ϑ

q

B

q

(7)

ze znanymi współczynnikami ϑ

1

, . . . , ϑ

q

, a pozostałe parametry mają takie samo znaczenie,

jak we wcześniejszych wzorach. Dla q = 0 operator ϑ(B) jest identycznością (= 1), równanie
(5)/(6) redukuje się do równania (1)/(3) i mamy do czynienia z czystym procesem AR. Z kolei
dla p = 0 operator autoregresji staje się identycznością i mamy proces średniej ruchomej MA.

Proces AR(p) może być również zapisany w postaci następującego rozwinięcia, w ogólności
nieskończonego

z

t

= a

t

+ ψ

1

a

t

−1

+ ψ

2

a

t

−2

+ . . . . . . ,

(8)

lub, używając opisu operatorowego,

z

t

= ψ(B)a

t

,

(9)

gdzie

ψ

(B) = ϕ

−1

(B) =

∞

X

j

=0

ψ

j

B

j

,

ψ

o

= 1 .

(10)

Równanie (8) opisuje ogólny model dyskretnego filtru liniowego, z procesem białego szumy {a

t

}

na wejściu, procesem {z

t

} na wyjściu. Operator ψ(B) wyraża tzw. funkcję przenoszenia filtru

(ang. transfer function). Ciąg współczynników 1, ψ

1

, ψ

2

, . . .

jest nazywany funkcją wagową lub

funkcją odpowiedzi impulsowej

filtru.

Przykład 1

. Rozważmy proces AR(1): p = 1, ϕ(B) = 1 − ϕ

1

B

. Rozpisując zależność

1 = ϕ(B)ϕ

−1

(B) = ϕ(B)ψ(B) = (1 − ϕ

1

B

)(1 + ψ

1

B

+ ψ

2

B

2

+ . . . . . .)

dochodzimy do wzoru

ϕ

−1

(B) = 1 + ϕ

1

B

+ ϕ

2
1

B

2

+ ϕ

3
1

B

3

+ . . . . . . .

A zatem, z formalnego punktu widzenia otrzymane wyrażenie jest identyczne jak dla zmiennych liczbowych

(1 − ϕz)

−1

=

1

1 − ϕz

= 1 + ϕz + ϕ

2

z

2

+ ϕ

3

z

3

+ . . . . . . .

Wiemy, że powyższy szereg jest zbieżny, gdy |ϕz| < 1. Problem zbieżności szeregu operatorowego będzie dyskutowany niżej w
kontekście omawiania stacjonarności procesu AR.

Przejście od wielomianów operatorowych do zmiennych liczbowych realizujemy przez zastoso-
wanie transformaty Fouriera zdefiniowanej następującym wzorem

F[φ(t)](f ) =

Z

∞

−∞

e

−i2πf τ

φ

(τ )dτ ,

(11)

w którym φ(t) jest funkcją czasu, a F[φ(t)](f) jej transformatą będącą funkcją częstotliwości
f

(w cyklach na jednostkę czasu, czyli Herzach). Przypomnijmy, że w poprzednim wykładzie

używaliśmy pojęcia częstotliwości kątowej ω = 2πf wyrażonej w radianach na jednostkę czasu.

Przyjmując ogólną postać operatora przesunięcia wstecz B

Bφ

(t) = φ(t − ∆t) ,

można bezpośrednio z definicji wyprowadzić zależność

F[Bφ(t)](f ) = F[φ(t − ∆t)](f ) = e

−i2πf ∆t

F[φ(t)](f ) .

(12)

A zatem, operator przesunięcia wstecz B jest zastąpiony w dziedzinie częstotliwości mnożeniem
przez czynnik zespolony z = e

−i2πf ∆t

o module 1. Dla osiągnięcia jednoznaczności argumentu

liczby z, arg(z)=−2πf∆t, narzuca się ograniczenie −π <arg(z)¬π, które implikuje nierów-
ność −

1

2∆t

< f

¬

1

2∆t

. Częstotliwość graniczną f

N

=

1

2∆t

nazywamy częstotliwością Nyquista.

Uogólniając można stwierdzić, że wielomianowi operatora B odpowiada w dziedzinie częstotli-

wości wielomian zmiennej zespolonej z =e

−i2πf ∆t

. Np. dla operatora autoregresji otrzymujemy

ϕ

(z) = 1 − ϕ

1

z

− ϕ

2

z

2

− . . . − ϕ

p

z

p

Korzystając z równania (12) można napisać reprezentację filtru ψ(B) opisanego równaniem (10)
w dziedzinie częstotliwości

H

d

(f ) =

∞

X

j

=0

ψ

j

e

−(i2πf ∆t)j

= ψ(e

−i2πf ∆t

) = ψ(z) ,

(13)

gdzie z = e

−i2πf ∆t

, |f| < f

N

, i ψ(z) jest teraz zwykłym szeregiem potęgowym zmiennej zespo-

lonej z o module 1.

Współczynniki wagowe ψ

j

można wyrazić poprzez współczynniki autoregresji ϕ

1

, . . . , ϕ

p

ko-

rzystając z faktu, że H

d

(f ) jest odwrotnością transformaty Fouriera ϕ(B)

H

d

(f ) =

1

1 − ϕ

1

e

−i2πf ∆t

− ϕ

2

e

−2(i2πf ∆t)

− . . . − ϕ

p

e

−p(i2πf ∆t)

=

1

ϕ

(z)

,

(14)

i porównując równania (13) i (14). Należy zwrócić uwagę, że w równaniu (14) proces AR(p)
jest reprezentowany przez wielomian zespolony, którego właściwości są bardzo dobrze znane.

Jeśli szereg ψ(z), opisany przez równanie (13), jest zbieżny na kole |z| ¬ 1 wówczas proces

filtracji opisany równaniem (8) jest stabilny i otrzymany na wyjściu szereg czasowy {z(t)} jest
stacjonarny. Z równania (14) warunkiem stacjonarności jest wymóg, by zera wielomianu ϕ(z)
leżały na zewnątrz koła jednostkowego na płaszczyźnie zespolonej.

Szereg ψ(z) jest na ogół nieskończony, niemniej w przypadku zbieżności możemy przyjmować

w zastosowaniach, że jego współczynniki ψ

j

są zaniedbywalne dla dostatecznie dużych j. Inaczej

mówiąc, stacjonarny proces AR(p) możemy aproksymować procesem MA(q). Rząd q jest miarą
stacjonarności {z

t

}: im większe q tym stacjonarność jest słabsza.

Zachodzi tez odwrotna prawidłowość: proces średniej ruchomej MA(q), lub ogólniej proces mie-
szany ARMA(p, q), może być przy odpowiednich założeniach aproksymowany czystym procesem
autoregresji. Ta reprezentacja nie jest optymalna w tym sensie, że wymaga na ogół więcej współ-
czynników, niż adekwatny model. Z drugiej strony, model autoregresji ma szereg zalet, które
decydują często o jego wyborze w praktycznych zastosowaniach.

Opiszemy teraz prostą procedurę liczenia współczynników rozwinięcia (13) dla procesu AR

(por. Przykład 1). Z porównania równań (13) i (14) otrzymujemy:

1 = (1 − ϕ

1

z

− ϕ

2

z

2

− . . . − ϕ

p

z

p

)(1 + ψ

1

z

+ ψ

2

z

2

+ . . . . . .)

(15)

Wyrazy stopnia 0 są po obu stronach równe 1. Wyrazy stopnia 1 i wyższego po prawej stronie
muszą znikać, zatem obliczamy kolejno ich współczynniki i przyrównujemy do zera. Otrzymuje-
my: ψ

1

= ϕ

1

; ψ

2

= ϕ

2

+ ϕ

2

1

, itd.

Podobna procedurę można zastosować do formalnej transformacji skończonego procesu

MA(q), lub ARMA(p, q), na czysty proces autoregresji. Jak było powiedziane wyżej, aproksyma-
cja modelem AR wymaga na ogół więcej, niż p + q współczynników, niemniej naszą preferencją
są procesy AR z następujących powodów:

• model AR jest adekwatną reprezentacją procesów zawierających periodyczności;

• istnieją dobrze rozpracowane i wydajne algorytmy do wyznaczania parametrów modelu AR

na podstawie empirycznych danych.