Modele zapisane w przestrzeni stanów
• Modele Przestrzeni Stanów ( State Space Models) są to modele, w których cz ęść parametrów jest nieobserwowalna i losowa.
• Zachowanie wielowymiarowej zmiennej yt zależy więc od
– parametrów deterministycznych
– wektora zmiennych egzogenicznych Xt
– nieobserwowalnego stanu danego wektorem zt.
• Równanie pomiarowe ( measurement equation) yt = Ht zt + Gtxt + vt
gdzie zt nazywamy wektorem stanu ( state vector ) Konwersatorium z Ekonometrii, IV rok, WNE UW
1
• Równanie przejścia ( transition equation) zt = Btzt− 1 + F txt− 1 + wt
• Razem oba te równania nazywamy liniowym systemem przestrzeni stanów ( linear state space system) gdzie
• yt jest ( G × 1) wymiarowym obserwowalnym wektorem zmiennych endogenicznych
• zt jest ( S × 1) wymiarowym wektorem stanów natury
• xt jest ( K × 1) wymiarowym obserwowalnym wektorem zmiennych wejściowych
• vt jest ( G × 1) wymiarowym błędów pomiaru Konwersatorium z Ekonometrii, IV rok, WNE UW
2
• wt jest ( S × 1) wymiarowym błędów losowych w równiach przejścia
• Ht jest ( G × S) wymiarową macierzą pomiarową
• Gt jest ( G × K) wymiarową macierzą wejścia w równaniach pomiaru
• Bt jest ( S × S) wymiarową macierzą przejścia
• F t jest ( S × K) wymiarową macierzą wejścia w równaniach przejścia
• O macierzach Ht, Gt, Bt, F t zakładamy, że są niezależne od vt.
• Zakładamy też, że proces zaczyna si ę od pewnego stanu początkowego z 0 , x 0.
• Zaburzenia losowe wt, vt są niezależne i mają stałe w czasie wariancje Konwersatorium z Ekonometrii, IV rok, WNE UW
3
• łączny proces generujący zaburzenia losowe jest niekorelowany w czasie, ma rozkład
·
¸
µ ·
¸¶
wt
Σ
∼ N 0 ,
w
0
v
dla t = 0 , . . .
t
0
Σ v
i jest niezależny od z 0, który ma rozkład: z 0 ∼ N ( µ 0 , Σ0)
• Przyjmijmy nast ępujące oznaczenia
Konwersatorium z Ekonometrii, IV rok, WNE UW
4
Y s = ( y 1 , . . . , ys) zt|s = E ( zt| Y s)
Σ z ( t| s) = Var ( zt| Y s)
yt|s = E ( yt| Y s)
Σ y ( t| s) = Var ( yt| Y s)
Σ zy ( t| s) = Cov ( zt, yt| Y s)
• ( z| y) ∼ N ( µ, Σ) oznacza, że warunkowy rozkład z przy danym y jest wielowymiarowym rozkładem normalnym o wartości oczekiwanej µ
i macierzy wariancji kowariancji Σ.
• Przy tych założeniach warunkowe rozkłady zt i yt będą rozkładami normalnymi o nast ępujących parametrach
Konwersatorium z Ekonometrii, IV rok, WNE UW
5
¢
( zt| Y t− 1) ∼ N zt|t− 1 , Σ z ( t| t − 1) dla t = 2 , . . . , T
¡
¢
( zt| Y t) ∼ N zt|t− 1 , Σ z ( t| t) dla t = 1 , . . . , T
³
´
( yt| Y t− 1) ∼ N yt|t− 1 , Σ y ( t| t − 1) dla t = 2 , . . . , T
¡
¢
( zt| Y T ) ∼ N zt|T , Σ z ( t| T ) dla t > T
³
´
( yt| Y T ) ∼ N yt|T , Σ y ( t| T ) dla t > T
Konwersatorium z Ekonometrii, IV rok, WNE UW
6
• Proces M A (2)
yt = µ + εt + θ 1 εt− 1
– równanie pomiarowe
yt = Hzt
£
¤
H =
1 θ 1
£
¤
z0t =
εt εt− 1
– równanie przejścia
zt = Bzt− 1 + wt
·
¸
·
¸
·
¸
0 0
ε
σ 2
B =
, w
t
, Σ
w
0
1 0
t =
0
w =
0
0
Konwersatorium z Ekonometrii, IV rok, WNE UW
7
• Przy tych założeniach można dowieść nast ępujących zależności
nazywanych rekursjami filtrów Kalmana ( Kalman filter recursions) Inicjacja: ( t = 0)
z 0 | 0 = µ 0
Σ z (0 | 0) = Σ0
Konwersatorium z Ekonometrii, IV rok, WNE UW
8
zt|t− 1 = Btzt− 1 |t− 1 + F txt− 1
Σ z ( t| t − 1) = BtΣ z ( t − 1 | t − 1) B0t + Σ w yt|t− 1 = Htzt|t− 1 + Gtxt
Σ y ( t| t − 1) = HtΣ z ( t| t − 1) H0t + Σ v Korekta: (1 ≤ t ≤ T )
³
´
zt|t = zt|t− 1 + P t yt−yt|t− 1
Σ z ( t| t) = Σ z ( t| t − 1) − P tΣ y ( t| t − 1) P 0t Konwersatorium z Ekonometrii, IV rok, WNE UW
9
P t = Σ z ( t| t − 1) H0tΣ y ( t| t − 1) − 1
((zysk z filtru Kalmana))
• W przypadku, kiedy nie istnieje odwrotność macierzy Σ y ( t| t − 1) możemy zastosować uogólnioną odwrotność macierzy.
• Rekursje przeprowadzamy zaczynając od predykacji dla t = 1.
• Potem przeprowadzamy korekt ę dla t = 1.
• Później odpowiednio predykcj ę i korekt ę przeprowadzamy dla t = 2, t = 3
itd.
Prognozowanie: ( t > T )
Konwersatorium z Ekonometrii, IV rok, WNE UW
10
Σ z ( t| T ) = BtΣ z ( t − 1 | T ) B0t + Σ w yt|T = Htzt|T + Gtxt
Σ y ( t| T ) = HtΣ z ( t| T ) H0t + Σ v
• Prognozowanie wykonujemy rekursywnie dla t = T + 1 , T + 2 , . . . .
• Niekiedy chcemy oszacować wartości wektora stanu dla znanego Y T .
• Posługujemy si ę do tego wzorami rekursywnymi nazywanymi wygładzaniem Kalmana.
• Wzory te stosujemy kolejno dla T − 1 , T − 2 , . . .
Konwersatorium z Ekonometrii, IV rok, WNE UW
11
¡
¢
zt|T = zt|t + St zt+1 |T −zt+1 |t Σ z ( t| T ) = Σ z ( t| t) − St [Σ z ( t + 1 | t) − Σ z ( t + 1 | T )] S0t gdzie
St = Σ z ( t| t) B0t+1Σ z ( t + 1 | t) − 1
((macierz wygładzania Kalmana))
Konwersatorium z Ekonometrii, IV rok, WNE UW
12
Inicjacja
0 | 0 = µ 0
Σ z ( t| s) = Σ0
...
↓
zt− 1 |t− 1
Σ z ( t − 1 | t − 1)
↓
z
y
Predykcja
t|t− 1
−→
t|t− 1
Σ z ( t| t − 1)
Σ y ( t| t − 1)
↓
←−
z
Korekta
t|t
Σ z ( t| t)
...
t = 1 , . . . , T
↓
z
y
Prognozowanie
t|T
−→
t|T
Σ z ( t| T )
Σ y ( t| T )
↓
t = T + 1 , T + 2 , . . .
...
Konwersatorium z Ekonometrii, IV rok, WNE UW
13
Przykład algorytm w zastosowaniach
• Proces M A (2)
– Inicjacja (załóżmy, że ε 0 | 0 i ε− 1 | 0 są niezależne i mają równe wariancje)
£
¤
z 0 | 0 =
ε 0 | 0 ε− 1 | 0
·
¸
1 0
Σ z (0 | 0) = σ 11 (0 | 0) 0 1
Konwersatorium z Ekonometrii, IV rok, WNE UW
14
£
¤
z0
=
0 ε
t|t− 1
t− 1 |t− 1
·
¸
σ 2
Σ
w
0
z ( t| t − 1)
=
0
σ 11 ( t − 1 | t − 1)
yt|t− 1 = θ 1 εt− 1 |t− 1
Σ y ( t| t − 1) = σ 2 w + θ 21 σ 11 ( t − 1 | t − 1)
– Korekta:
·
¸
£
¤
σ 2
P
− 1
w
t = σ 2
w + θ 1 σ 11 ( t − 1 | t − 1) θ 1 σ 11 ( t − 1 | t − 1) Konwersatorium z Ekonometrii, IV rok, WNE UW
15
´
zt|t = zt|t− 1 + P t yt−yt|t− 1
Σ z ( t| t) = Σ z ( t| t − 1) − P tΣ y ( t| t − 1) P 0t
– Prognozowanie t > T
£
¤
z0
=
0 ε
t|T
t− 1 |T
·
¸
σ 2
Σ
w
0
z ( t| T ) =
0
σ 11 ( t − 1 | T )
yt|T = θ 1 εt− 1 |T
Σ y ( t| T ) = σ 2 w + θ 1 σ 11 ( t − 1 | T ) Konwersatorium z Ekonometrii, IV rok, WNE UW
16
·
¸
1 0
St =
0 0
·
¡
¢ ¸
ε
ε
z
t|t +
t+1 |T −εt+1 |t
t|T
=
εt− 1 |t
Konwersatorium z Ekonometrii, IV rok, WNE UW
17
Estymacja parametrów w Modelach Przestrzeni Stanów
• Jedną z podstawowych zalet modeli przestrzeni stanów jest to, że umożliwiają one stosunkowo łatwą specyfikacj ę całej klasy modeli dla analizy szeregów czasowych.
• Zgromadźmy wszystkie nieznane parametry z macierzy Bt, F t, Ht, Σ w, Σ v, Σ0 i µ 0 w wektorze parametrów δ.
• Estymacja parametrów modeli przestrzeni stanów polegać b ędzie na maksymalizacji funkcji wiarygosności wzgl ędem parametru δ.
• Okazuje si ę, że postać funkcji wiarygodności można stosunkowo prosto przestawić przy zastosowaniu Filtrów Kalmana.
Konwersatorium z Ekonometrii, IV rok, WNE UW
18
• Korzystając z twierdzenia Bayesa można przedstawić łączną funkcj ę wiarygodności dla zależnych zdarze ń Y T = ( y 1 , y 2 , . . . , yT ) w postaci nast ępującego iloczynu
L ( Y T , θ) = L ( y 1 , y 2 , . . . , yT , θ) = f ( y 1 , θ) f ( y 2 , . . . , yT | y 1 , θ)
= f ( y 1 , θ) f ( y 2 , . . . , yT | Y 1 , θ)
= f ( y 1 , θ) f ( y 2 | Y 1 , θ) f ( y 3 , . . . , yT | Y 2 , θ)
...
= f ( y 1 , θ) f ( y 2 | Y 1 , θ) × . . . × f ( yT | Y T− 1 , θ) .
Konwersatorium z Ekonometrii, IV rok, WNE UW
19
• Logarytm funkcji wiarygodności b ędzie miał wi ęc postać T
X
` ( Y T , θ) = ln f ( y 1 , θ) +
ln f ( yt| Y t− 1 , θ)
i=1
• Jeśli prawdziwe są założenie konieczne do wyprowadzenia postaci Filtrów Kalmana to zmienna ( yt| Y t− 1 , θ) b ędzie miała rozkład normalny a funkcja wiarygodności przyjmie postać
KT
1 T
X
` ( Y T , θ) = −
ln (2 π) −
ln |Σ
2
2
y ( t| t − 1) |
i=1
T
X ³
´ 0
³
´
−
yt−yt|t− 1 Σ − 1
y
( t| t − 1) yt−yt|t− 1 .
t=1
Konwersatorium z Ekonometrii, IV rok, WNE UW
20
• Wartość warunkowej wariancji Σ y ( t| t − 1) i warunkowej wartości oczekiwanej y t|t− 1 otrzymujemy rekurencyjnie ze wzorów na Filtry Kalmana.
• Dla uproszczenia notacji onaczmy
et ( θ) = yt−yt|t− 1
i
Σ t ( θ) = Σ − 1
y
( t| t − 1)
• Przy takim zapisie funkcja wiarygodności przyjmuje postać KT
1 T
X £
¤
` ( Y T , θ) = −
ln (2 π) −
ln |Σ
2
2
t ( θ) | + e0t ( θ) Σ − 1
t
( θ) e0t
i=1
Konwersatorium z Ekonometrii, IV rok, WNE UW
21
• Do szacowanych parametrów modelu należeć mogą dowolne parametry b ędące cześcią macierzy Ht, Gt, Bt, F t oraz macierze Σ w, Σ v oraz µ 0 , Σ0.
• W wielu zastosowaniach okazuje si ę, że trzeba na parametry nałożyć dodatkowe ograniczenia celem uzyskania identyfikacji.
Konwersatorium z Ekonometrii, IV rok, WNE UW
22
• W przypadku filtrów Kalmana nie jest łatwo podać ogólne warunki, dla których estymatory M N W mają standardowe własności.
• Przy spełnionych warunkach z początku tego rozdziału najłatwiej podać takie warunki dla przypadku, gdy macierz Gt = G, Bt = B, F t = F nie zależą od t. W takim przypadku, jeśli
1. wektor θ znajduje si ę we wn ętrzu zbioru Θ
2. Ht = ( xt ⊗ I) J, gdzie J jest z góry znaną macierzą lub Ht = H jest nielosową macierzą parametrów
Konwersatorium z Ekonometrii, IV rok, WNE UW
23
3. xt jest niestochastyczne i istnieją takie stałe c 1 i c 2 , że c 1 ≤ x0txt ≤ c 2 dla t = 1 , 2 , . . .
4. spełniony jest warunek, że macierz informacyjna jest asymptotycznie nieosobliwa
5. wszystkie wartości własne macierzy B są co do modułu mniejsze od 1
to estymator
√ ³
´
¡
¢
n e
θ − θ
D
−→ N 0 ,i− 1 ( θ)
Konwersatorium z Ekonometrii, IV rok, WNE UW
24