Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Analiza szeregów czasowych
Stacjonarno´s´c szeregów czasowych
dr Piotr Wójcik, mgr Paweł Sakowski
Uniwersytet Warszawski
Wydział Nauk Ekonomicznych
wykład #2
P. Wójcik, P. Sakowski
ASC #2
1/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Plan
1
Proces stochastyczny, stacjonarno´s´c, biały szum
2
Przykład: droga do pubu
3
Random walk - bł ˛
adzenie przypadkowe
4
Trendy w szeregach czasowych
5
Regresje pozorne – eksperyment Newbolda-Davisa
P. Wójcik, P. Sakowski
ASC #2
2/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Regresje pozorne – eksperyment Newbolda-Davisa
Proces stochastyczny a szereg czasowy
Szereg czasowy jest uporz ˛
adkowanym chronologicznie
zbiorem warto´sci badanej cechy lub okre´slonego zjawiska
zaobserwowanych w ró˙znych momentach (przedziałach)
czasu.
W bardziej zaawansowanych metodach analizy szeregów
czasowych zakłada si ˛e, ˙ze pojedyncze obserwacje y
t
s ˛
a
agu zmiennych losowych Y
t
.
Proces stochastyczny jest wtedy zdefiniowany jako ów
ci ˛
ag zmiennych losowych indeksowanych przez czas (t)
natomiast
szereg czasowy jest pojedyncz ˛
a realizacj ˛
a
takiego procesu stochastycznego.
P. Wójcik, P. Sakowski
ASC #2
3/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Proces stochastyczny
Proces deterministyczny jest jednoznacznie okre´slony w
ka˙zdej chwili czasu t
Warto´sci
procesów niedeterministycznych – inaczej
nazywanych procesami stochastycznymi – nie mo˙zna
jednoznacznie okre´sli´c. Przy zało˙zonym poziomie
prawdopodobie ´nstwa mo˙zna jedynie okre´sli´c przedział w
jakim proces si ˛e znajdzie.
P. Wójcik, P. Sakowski
ASC #2
4/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Proces stochastyczny
Proces stochastyczny jest ci ˛
agiem zmiennych losowych o
warto´sciach rzeczywistych {X
t
}, indeksowanych przez t
(czas).
Procesy stochastyczne dzielimy na:
procesy
ergodyczne, czyli takie, które mog ˛
a by´c opisane
przez momenty co najwy˙zej rz ˛edu 2,
oraz procesy
nieergodyczne dla których nie istniej ˛
a ˙zadne
charakterystyki stałe w czasie.
P. Wójcik, P. Sakowski
ASC #2
5/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Proces stochastyczny
Parametry ergodycznego procesu stochastycznego s ˛
a
funkcj ˛
a czasu:
´
Srednia procesu stochastycznego:
ci ˛
ag ´srednich (warto´sci oczekiwanych) µ
t
kolejnych
zmiennych losowych X
t
Wariancja procesu stochastycznego:
ci ˛
ag wariancji σ
2
t
kolejnych zmiennych losowych X
t
Kowariancja dwóch zmiennych X
t
i X
t+j
:
macierz kowariancji σ
t,t+j
P. Wójcik, P. Sakowski
ASC #2
6/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Regresje pozorne – eksperyment Newbolda-Davisa
Proces stochastyczny jest
silnie stacjonarny (inaczej:
stacjonarny w sensie ´scisłym), je´sli ł ˛
aczne i warunkowe
rozkłady prawdopodobie ´nstwa procesu nie zmieniaj ˛
a si ˛e w
czasie:
∀τ
P(X
t
) =
P(X
t+τ
)
W praktyce cz ˛e´sciej procesy s ˛
a stacjonarne w sensie
słabym.
P. Wójcik, P. Sakowski
ASC #2
7/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Słaba stacjonarno´s´c
Proces stochastyczny jest stacjonarny w sensie słabym, je´sli
dla ka˙zdego t:
E (X
t
) = const = µ
Var(X
t
) = const = σ
2
Cov(X
t
,
X
t+k
) = σ
k
P. Wójcik, P. Sakowski
ASC #2
8/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Biały szum - white noise
Proces białego szumu spełnia nast ˛epuj ˛
ace zało˙zenia:
E (y
t
) =
0
Var(y
t
) = σ
2
Cov(y
t
,
y
t−k
) =
σ
2
dla
k = 0, ∀t
0
dla
k 6= 0, ∀t
P. Wójcik, P. Sakowski
ASC #2
9/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Przykład białego szumu
´zródło: obliczenia własne.
P. Wójcik, P. Sakowski
ASC #2
10/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Regresje pozorne – eksperyment Newbolda-Davisa
Proces stochastyczny niestacjonarny
Proces stochastyczny z rosn ˛
ac ˛
a (niestacjonarn ˛
a) ´sredni ˛
a:
P. Wójcik, P. Sakowski
ASC #2
11/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Stacjonarny proces stochastyczny
Proces stochastyczny z stał ˛
a (stacjonarn ˛
a) ´sredni ˛
a:
Proces ten wydaje si ˛e równie˙z stacjonarny wzgl ˛edem wariancji,
ale nie mo˙zemy nic powiedzie´c o kowariancji na podstawie tego
wykresu.
P. Wójcik, P. Sakowski
ASC #2
12/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Realizacja procesu stochastycznego
Przykładowy szereg czasowy – pojedyncza realizacja procesu
stochastycznego:
Dla uproszczenia cz ˛esto uto˙zsamia si ˛e szereg czasowy z
procesem stochastycznym.
P. Wójcik, P. Sakowski
ASC #2
13/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Droga do pubu – przykład zmiennej niestacjonarnej
Stoimy mi ˛edzy dwoma pubami i chcemy zdecydowa´c, do
którego pój´s´c przy pomocy rzutu monet ˛
a.
orzeł −→ robimy krok w lewo;
reszka −→ robimy krok w prawo;
Z
t
=
−1 z prawd. p = 1/2
1 z prawd. p = 1/2
Po ka˙zdym ruchu powtórnie rzucamy monet ˛
a, powtarzaj ˛
ac cał ˛
a
operacj ˛e, a˙z do celu.
P. Wójcik, P. Sakowski
ASC #2
14/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Regresje pozorne – eksperyment Newbolda-Davisa
Mo˙zemy zatem zapisa´c:
X
1
=
Z
1
X
2
=
X
1
+
Z
2
X
3
=
X
2
+
Z
3
. . .
X
t
=
X
t−1
+
Z
t
Czy X
t
jest zatem stacjonarny?
Mamy co prawda:
E (X
t
) =
0
ale...
P. Wójcik, P. Sakowski
ASC #2
15/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Droga do pubu – cd
Var(X
1
) = Var(Z
1
) =
1
Var(X
2
) = Var(X
1
+
Z
2
) = Var(X
1
) + Var(Z
2
) =
2
Var(X
3
) = Var(X
2
) + Var(Z
3
) =
3
. . .
Var(X
t
) =
t
Wariancja procesu X
t
jest liniow ˛
a funkcj ˛
a czasu, wi ˛ec jest
to proces niestacjonarny!
Jest to szczególny przypadek wa˙znego niestacjonarnego
procesu, nazywanego bł ˛
adzeniem przypadkowym (random
walk).
P. Wójcik, P. Sakowski
ASC #2
16/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Droga do pubu: skokowy proces bł ˛
adzenia losowego
Nawet je´sli mamy do pubu 20 kroków mo˙zemy tam długo nie
dotrze´c :-)
´zródło: obliczenia własne.
P. Wójcik, P. Sakowski
ASC #2
17/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Proces bł ˛
adzenia przypadkowego
Bł ˛
adzenie przypadkowe z dryfem:
X
t
= µ +
X
t−1
+ ε
t
Ci ˛
agły proces bł ˛
adzenia przypadkowego:
y
t
=
y
t−1
+
t
,
gdzie
t
∼ IID(0, σ
2
)
Ci ˛
agły normalny proces bł ˛
adzenia przypadkowego:
y
t
=
y
t−1
+
t
,
gdzie
t
∼ NID(0, σ
2
)
P. Wójcik, P. Sakowski
ASC #2
18/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Regresje pozorne – eksperyment Newbolda-Davisa
adzenie przypadkowe – z dryfem i bez dryfu
´zródło: obliczenia własne
P. Wójcik, P. Sakowski
ASC #2
19/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Trend stochastyczny
W ekonomii cz ˛esto na podstawie badania szeregu
czasowego mo˙zna stwierdzi´c z jakim typem
niestacjonarno´sci mamy do czynienia.
Je˙zeli polega ona na tym, ˙ze szereg ma skłonno´s´c do
poruszania si ˛e w jednym kierunku, nazywamy tak ˛
a
tendencj ˛e trendem.
Szereg mo˙ze powoli dryfowa´c w gór ˛e lub w dół wył ˛
acznie
w rezultacie stochastycznych (losowych) szoków.
Nazwiemy go wtedy szeregiem czasowym z trendem
stochastycznym.
P. Wójcik, P. Sakowski
ASC #2
20/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Trend stochastyczny
Dobrym przykładem trendu stochastycznego jest proces
bł ˛
adzenia przypadkowego (tak z dryfem jak i bez dryfu)
Wariancja bł ˛
adzenia losowego wzrasta w czasie
(„wybucha”). Dotyczy to tak˙ze korelacji mi ˛edzy s ˛
asiednimi
obserwacjami.
W zwi ˛
azku z tym podczas do´s´c długich okresów mo˙ze on
przyjmowa´c warto´sci znacznie oddalone od ´sredniej.
P. Wójcik, P. Sakowski
ASC #2
21/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Trend deterministyczny
Innym przykładem tendencji rozwoju niestacjonarnego
procesu stochastycznego jest sytuacja, gdy ´srednia
procesu jest funkcj ˛
a czasu.
Ogólnym zapisem takiej funkcji jest wielomian zmiennej
czasowej stopnia K, który zapiszemy w postaci:
S
t
= β
0
+ β
1
t + β
2
t
2
+ · · · + β
k
t
k
Funkcja taka nazywana jest
trendem deterministycznym.
Szczególnym przypadkiem takiej funkcji jest trend liniowy:
S
t
= β
0
+ β
1
t
P. Wójcik, P. Sakowski
ASC #2
22/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Regresje pozorne – eksperyment Newbolda-Davisa
Trend stochastyczny vs. trend deterministyczny
´zródło: obliczenia własne.
P. Wójcik, P. Sakowski
ASC #2
23/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Komentarz
Proces bł ˛
adzenia przypadkowego z dryfem i trendy
deterministyczne wydaj ˛
a si ˛e sensownymi
odzwierciedleniami wielu makroekonomicznych szeregów
czasowych (mo˙ze wyst ˛epowa´c równie˙z ich kombinacja).
Oba rodzaje procesów daj ˛
a niestacjonarne szeregi o
silnym trendzie. Nie jest wi ˛ec zaskakuj ˛
ace, ˙ze regresje
tego typu zmiennych wzgl ˛edem siebie niemal zawsze daj ˛
a
istotne statystycznie wyniki (relacje).
Zale˙zno´s´c ta jednak (silna korelacja mi ˛edzy nimi) mo˙ze by´c
wynikiem podobnego trendu, niezale˙znie od rzeczywistego
wyst ˛epowania mi ˛edzy nimi relacji regresyjnej.
P. Wójcik, P. Sakowski
ASC #2
24/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Uwaga!
Regresje dla szeregów czasowych niestacjonarnych
(zawieraj ˛
acych trend deterministyczny lub stochastyczny)
cz ˛esto daj ˛
a pozornie dobre wyniki.
W ten sposób uniemo˙zliwiaj ˛
a stwierdzenie, czy zwi ˛
azki
ekonomiczne wynikaj ˛
ace z teorii s ˛
a rzeczywi´scie poparte,
czy te˙z nie, wynikami empirycznymi.
Analiza regresji ma sens jedynie dla danych, które
nie
podlegaj ˛
a trendowi.
Poniewa˙z wszystkie ekonomiczne szeregi czasowe
zawieraj ˛
a trend, nale˙zy go usun ˛
a´c przed
przeprowadzaniem analizy regresji.
P. Wójcik, P. Sakowski
ASC #2
25/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Regresje pozorne
Własno´sci statystyczne analizy regresji niestacjonarnych
szeregów czasowych s ˛
a na ogół w ˛
atpliwe.
Dodatkowo wyst ˛epuje wysokie prawdopodobie ´nstwo
uzyskania istotnych wyników, nawet gdy w rzeczywisto´sci
one nie wyst ˛epuj ˛
a (regresje pozorne).
P. Wójcik, P. Sakowski
ASC #2
26/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Regresje pozorne – eksperyment Newbolda-Davisa
Regresje pozorne: trend deterministyczny
Regresja trendu liniowego wzgl ˛edem trendu kwadratowego:
y = 1, 2, 3, . . . , n,
x = 1, 4, 9, . . . , n
2
Wyniki dla 50 obserwacji:
-------------------------------------------------------------------------
F Value
Pr > F
R-Square = 0.9399
Adj R-Sq = 0.9386
750.29
<.0001
Parameter
Standard
Variable
DF
Estimate
Error
t Value
Pr > |t|
Intercept
1
9.67883
0.77103
12.55
<.0001
x
1
0.01843
0.00067280
27.39
<.0001
-------------------------------------------------------------------------
Durbin-Watson D
0.022
Jedynie DW wskazuje, ˙ze co´s jest nie w porz ˛
adku!
P. Wójcik, P. Sakowski
ASC #2
27/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Warto´sci teoretyczne vs. rzeczywiste
P. Wójcik, P. Sakowski
ASC #2
28/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Regresje pozorne: trend stochastyczny
Eksperyment Newbolda i Davisa:
generujemy obserwacje dwóch niezale˙znych zmiennych
niestacjonarnych:
y
t
=
y
t−1
+ ε
1t
ε
1t
∼ N(0, 1)
x
t
=
x
t−1
+ ε
2t
ε
2t
∼ N(0, 1)
cov (ε
1t
, ε
2t
) =
0
liczymy dwie proste regresje: ε
1t
na ε
2t
oraz y
t
na x
t
,
zapami ˛etujemy statystyk˛e test t oraz DW dla obu regresji.
P. Wójcik, P. Sakowski
ASC #2
29/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Eksperyment Newbolda-Daviesa – cd.
nast ˛epnie powtarzamy eksperyment odpowiednio du˙z ˛
a
liczb ˛e razy (np. 10000) zapisuj ˛
ac za ka˙zdym razem wyniki;
maj ˛
ac dwie serie statystyk t obliczamy ´sredni ˛
a, odchylenie
standardowe, sko´sno´s´c, kurtoz ˛e i porównujemy z
parametrami rozkładu t-Studenta. To samo robimy dla
statystyki DW .
Przy poziomie istotno´sci 5% powinni´smy uzyska´c istotny
wynik w mniej wi ˛ecej 5% przypadków (5% = bł ˛
ad 1
rodzaju, czyli w tylu przypadkach odrzucamy H
0
, je´sli jest
prawdziwa, czyli innymi słowy: test potwierdzi relacj ˛e
nawet je´sli w rzeczywisto´sci jej nie ma).
P. Wójcik, P. Sakowski
ASC #2
30/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Regresje pozorne – eksperyment Newbolda-Davisa
´zródło: obliczenia własne
x i y s ˛
a generowane niezale˙znie, wi ˛ec zale˙zno´sci mi ˛edzy
nimi w rzeczywisto´sci nie ma
tymczasem wyniki pokazuj ˛
a „istotn ˛
a” zale˙zno´s´c w 64%
przypadków!
regresje te miały równie˙z nisk ˛
a warto´s´c statystyki DW!
P. Wójcik, P. Sakowski
ASC #2
31/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Wniosek
Regresje dla szeregów czasowych niestacjonarnych
(zawieraj ˛
acych trend deterministyczny lub stochastyczny)
cz ˛esto daj ˛
a pozornie dobre wyniki.
W ten sposób uniemo˙zliwiaj ˛
a stwierdzenie, czy zwi ˛
azki
ekonomiczne wynikaj ˛
ace z teorii s ˛
a rzeczywi´scie poparte,
czy te˙z nie, wynikami empirycznymi.
Analiza regresji ma sens jedynie dla danych, które nie
podlegaj ˛
a trendowi.
Poniewa˙z wszystkie ekonomiczne szeregi czasowe
zawieraj ˛
a trend, nale˙zy go usun ˛
a´c przed
przeprowadzaniem analizy regresji.
P. Wójcik, P. Sakowski
ASC #2
32/33
Proces stochastyczny, stacjonarno´s´c, biały szum
Przykład: droga do pubu
Random walk - bł ˛
adzenie przypadkowe
Trendy w szeregach czasowych
Regresje pozorne – eksperyment Newbolda-Davisa
Dzi ˛ekujemy za uwag ˛e!
P. Wójcik, P. Sakowski
ASC #2
33/33
Document Outline
- Proces stochastyczny, stacjonarnosc, biały szum
- Przykład: droga do pubu
- Random walk - bładzenie przypadkowe
- Trendy w szeregach czasowych
- Regresje pozorne – eksperyment Newbolda-Davisa
Wyszukiwarka
Podobne podstrony:
asc wyklad1 4
asc wyklad5 4
asc wyklad3 4
asc wyklad4 4
asc wyklad7 4
asc wyklad1 4
Napęd Elektryczny wykład
wykład5
Psychologia wykład 1 Stres i radzenie sobie z nim zjazd B
Wykład 04
geriatria p pokarmowy wyklad materialy
ostre stany w alergologii wyklad 2003
WYKŁAD VII
Wykład 1, WPŁYW ŻYWIENIA NA ZDROWIE W RÓŻNYCH ETAPACH ŻYCIA CZŁOWIEKA
Zaburzenia nerwicowe wyklad
Szkol Wykład do Or
Strategie marketingowe prezentacje wykład
Wykład 6 2009 Użytkowanie obiektu
więcej podobnych podstron