UNIWERSYTET WARSZAWSKI WYDZIAA

MATEMATYKI, MECHANIKI I INFORMATYKI
KONRAD FURMAC
CZYK
ASYMPTOTYCZNE
WA
ASNOŚCI
M-ESTYMATORÓW DLA
DANYCH ZALEŻNYCH
AUTOREFERAT ROZPRAWY
DOKTORSKIEJ
1
P LAN REF ERAT U
" Definicja M-estymatora
" Modele zależności
" Główne wyniki
" Metody dowodów
" Pomocnicze twierdzenia probabilisty-
czne
2
M-ESTYMATORY
Rozważmy ściśle stacjonarny ciąg
zmiennych losowych X1, X2, . . . , Xn o
wartościach w Rm.
Realizacje tego ciągu będziemy nazywali
obserwacjami. Rozkład brzegowy X1, zależny
od parametru �, oznaczymy przez P�, gdzie
� " Ś �" Rk. Zakładamy, że z rodziną
rozkładów {P�} możemy związać pewne
mierzalne odwzorowanie � : Ś� Rm Rk
tak, że dla każdego � " Ś
E��(�, X1) = �(�, x)dP�(x) = 0 .
DEFINICJA M-estymatorem parametru
� nazywamy każde mierzalne rozwiązanie �n
równania
n
1
�n(�) := �(�, Xi) = 0 .
n
i=1
3
PRZYKA
ADY
" metoda najmniejszych kwadratów, wtedy
-
�(�, x) = x - �, M-estymator =
X
n
1
Xi;
i=1
n
" metoda największej wiarogodności (dla
niezależnych obserwacji), przy pewnych
założeniach regularności �(�, x) =
"
f�(x)
"�
, gdzie f� jest gęstością zmien-
f�(x)
nej losowej X1;
" estymator Hubera (odporność), dla
symetrycznych rozkładów prawdopodobień-
stwa �(�, x) = �(x - �),
�(r)
k r
4
MODELE ZALEŻNOŚCI
Głównym modelem zależności rozważanym
w naszej pracy jest proces liniowy
"
(LP) Xj = arZj-r,
r=0
gdzie (Zn) jest ciągiem zmiennych
2
losowych i.i.d. oraz E(Z1) = 0, E(Z1) = 1,
zaś (an) jest pewnym ciągiem liczbowym
"
takim, że a2 < ". W pracy analizu-
r
r=0
jemy tylko przypadek zależności bliskiego
zasięgu (ZBL) procesu liniowego, tzn.
" " "
|Cov(X1, X1+j)| = arar+j < " .
j=0 j=0 r=0
W pracy rozpatrujemy warunek (a0)
"
|ar| < " , który implikuje (ZBL).
r=0
Rozpatrywane w pracy są również pokrewne
modele zależności (ZBL): wielowymiarowy
proces liniowy (MLP), obustronny pro-
ces liniowy (LPO), przekształcony proces
gaussowski (SGauss).
5
GA
ÓWNE WYNIKI
Wszystkie dalsze rozważania będą
dotyczyły pewnego ustalonego (chociaż
nieznanego) �0. Oznaczamy P = P� i
0
E = E� . Niech
0
n
1
�(�) = E�(�, X1) �n(�) = �(�, Xi),
n
i=1
�(�0) = 0 �n(�n) = 0.
ISTNIENIE M-ESTYMATORA
Rozważmy następujący warunek
(D) istnieje stała c > 0 oraz funkcja M(x)
takie że,
|DjDi�(�, x)| d" M(x)
dla wszystkich x " R, wszystkich � takich,
że: |� - �0| < c oraz E |M(X1)| < ".
6
TWIERDZENIE (tw.3.11)
Założenia Ciąg obserwacji (Xn) jest er-
godyczny, istnieje (D�(�0))-1 oraz zachodzi
warunek (D).
Teza Istnieje ciąg zmiennych losowych
�n taki, że
P(�n(�n) = 0) - 1
n"
oraz
P(�n �0) = 1.
REPREZENTACJE ASYMPTOTYCZNE
Podstawowym faktem ułatwiającym
analizę M-estymatorów jest linearyzacja
n
"
1
"
n(�n-�0) = -V-1 �(�0, Xi)+Rn ,
n
i=1
gdzie V = DE�(�0, X1) lubV = ED�(�0, X1).
Gdy reszta Rn jest postaci Rn = oP(1),
wtedy mówimy o reprezentacji Ghosha.
7
Reprezentacja Ghosha umożliwia
udowodnienie asymptotycznej normalności
(AN) M-estymatora, gdy
n
1
"
�(�0, Xi) d Nk(0, Ł) przy n " .
n
i=1
Wtedy oczywiście
"
n(�n - �0) d Nk(0, V-1Ł(V-1)T) .
Podamy teraz pewnien wariant jednego
z głównych twierdzeń naszej pracy, tw. 3.48.
Rozważmy następujące warunki:
"
(a0) |ar| < " ,
r=0
(b1) Z1 ma całkowalną funkcję
charakterystyczną �Z, |u| |�Z(u)| du < ",
(b2(t)) E |Z1|t < " dla pewnego t e" 2.
(C) �n P �0,
8
(V) macierz V =D E�(�0, X1) istnieje
i jest nieosobliwa oraz E |�(�0, X1)|2 < "
TWIERDZENIE
Założenia: Ś jest zbiorem otwartym
wymiaru k, zachodzą warunki: (a0),
(b1), (b2(k + 1)), (C), (V). Zachodzi
jeden z warunków:
" |�(�1, x) - �(�2, x)| d" L(x) |�1 - �2| dla
dowolnych �1, �2 " Ś i dowolnego
x istnieje funkcja L " L1(R) oraz
L(X1) k+1 < ",
" istnieje pewna stała C taka, że
sup |D�Dx�i(�, x)| < C,
(�,x)"Ś�R
gdzie � = (�1, �2, . . . , �k) oraz do-
datkowo spełniony jest jeden z warunków:
" funkcja �(�0, �) spełnia warunek Lips-
chitza,
" funkcja �(�0, �) " L1(R),
9
Teza Zachodzi reprezentacja Ghosha
(Rn = oP(1)) i asymptotyczną normalność
M-estymatorów
"
n(�n - �0) d Nk (0, V-1Ł(V-1)T) ,
gdzie elementy macierzy Ł są postaci
�i,j = E �i(�0, X1)�j(�0, X1) +
"
+2 E �i(�0, X1)�j(�0, X1+t) .
t=1
10
Przy pewnych założeniach na gład-
kość funkcji � otrzymujemy reprezentację
1
2
Ghosha z resztą postaci Rn = OP(n- ) (p.
tw. 4.1). Spora część pracy poświęcona
jest wyciąganiu wniosków z udowodnionej
reprezentacji Ghosha w szczególnych przy-
padkach problemów M-estymacji takich jak
estymacja parametru położenia (wn. 3.37) i
estymacja współczynników regresji w mod-
elach liniowych (tw. 3.56).
Wzmocnieniem reprezentacji Ghosha
jest reprezentacja Bahadura, tzn. gdy reszta
w linearyzacji estymatora jest postaci Rn =
Op.n.(�n) dla pewnego ciągu �n 0 przy
n ".
Rozważmy następujący warunek:
(V1) macierz V = ED�(�0, X1) istnieje
i jest nieosobliwa oraz E |�(�0, X1)|2 < ",
11
TWIERDZENIE (wersja wn. 4.14)
Założenia Zachodzą warunki: (a0), (b1),
(b2(Q)) dla Q > 2, (D), (V1) oraz spełniony
jest jeden z warunków:
" funkcje �(�0, �) i D�(�0, �) spełniają
warunek Lipschitza,
" funkcje �(�0, �), D�(�0, �) " L1(R).
Teza
n
"
1
"
n(�n-�0) = -V-1 �(�0, Xi)+Rn,
n
i=1
gdzie V =ED�(�0, X1) oraz dla dowol-
nego � > 0
1+�
1
Q Q
(log n) (log log n)
"
Rn = Op.n. .
n
Ponadto otrzymujemy własność (AN).
12
METODY DOWODÓW
Metoda Pollarda, odwołuje się do
teorii procesów empirycznych. W powyższej
metodzie oprócz kilku łatwych do sprawdzenia
warunków występuje warunek asymptoty-
cznej jednakowej ciągłości (ASE) procesu
empirycznego
n
1
"
�n�(�, �) : = {�(�, Xi) - E�(�, Xi)} =
n
i=1
"
n(�n(�) - �(�)).
(ASE) " � > 0 " � > 0 " � > 0
lim sup P sup |�n�(�, �) - �n�(�0, �)| > � < �.
n"
|�-�0|<�
Warunek (ASE) otrzymamy z poniższego
lematu, który jest wnioskiem twierdzenia
Ledoux i Talagranda (91), wn. 11.8.
13
LEMAT (lemat 3.8)
Założenia Jeśli dim(Ś) = k, proces
empiryczny �n�(�, �) posiada ciągłe trajek-
torie oraz dla pewnego Q e" 1 spełnione są
następujące warunki:
" �n�(�1, �) - �n�(�2, �) d" C |�1 - �2|
Q
dla dowolnych �1, �2 " Ś� (z pewnego
otoczenia �0), gdzie C jest pewną stałą;
�
Q
" N(Ś�, r)dr < ", gdzie N(Ś�, r)
0
oznacza minimalną liczbę kul o promieni-
ach d" r pokrywających zbiór Ś�.
Teza
E sup |�n�(�, �) - �n�(�0, �)| d"
|�-�0|<�
� �
k
Q
Q
K N(Ś�, r)dr d" K r- dr.
0 0
14
Jak widzimy, żeby otrzymać warunek
(ASE) wystarczy kontrolować przyrosty
procesu empirycznego w normie k + 1-szej
(dla Q = k + 1).
Metoda elementarna polega na
rowinięciu funkcji � w szereg Taylora i
prowadzi do silniejszej tezy, ale przy sil-
niejszych założeniach na gładkość funkcji �.
W ten sposób otrzymaliśmy reprezentację
Bahadura (p. tw. 4.9) i reprezentację Ghosha
1
2
z resztą postaci OP(n- ) (p. tw. 4.1).
Pomocnicze twierdzenia
probabilistyczne
Oszacowania momentów
TWIERDZENIE (tw. 6.2)
Założenia: (a0), (b1), (b2(Q)) dla
Q e" 2 oraz E |G(X1)|Q < ". Jeśli spełniony
jest jeden z warunków:
15
" funkcja G spełnia warunek Lipschitza,
" funkcja G jest całkowalna.
Teza
Q
n
Q
2
E (G(Xj) - EG(Xj)) d" C"n ,
j=1
gdzie C" = CC(G). W pierwszym
przypadku
Q
"
C(G) = (Lip(G))Q , C = CQ,Z |ar| ,
r=0
oraz w drugim przypadku
Q
C(G) = G(X1) + |G(x)| dx ,
Q
"
C = CQ,Z ( |ar|)Q, gdzie stała CQ,Z
r=0
zależy od rozkładu innowacji Z1 i Q.
16
Pierwszy warunek występujący w Lema-
cie 3.8 otrzymujemy z Twierdzenia 6.2
podstawiając G(x) = �(�1, x) - �(�2, x).
Centralne twierdzenie graniczne było
nam potrzebne do wykazania asymptotycznej
normalności M-estymatorów.
TWIERDZENIE (tw. 7.2)
Założenia: (a0), (b1), (b2(2)). Jeśli
zachodzi jeden z warunków:
" funkcja G spełnia warunek Lipschitza,
" funkcja G jest całkowalna
oraz
"
�2 := E (G(X1))2+2 E (G(X1)G(X1+j)) > 0.
j=1
Teza
n
1
"
(G(Xi) - EG(Xi)) d N (0, �2) .
n
i=1
17
Wykazaliśmy również przy pewnych
technicznych założeniach centralne twierdze-
n
nie graniczne dla ważonych sum biG(Xi)
i=1
(p. tw. 7.10). Uzupełnieniem powyższych
wyników było oszacowanie p.n. z góry
typu prawo iterowanego logarytmu (p. tw.
8.3) będące bezpośrednim wnioskiem z
twierdzenia Moricza (76).
TWIERDZENIE
Założenia: (a0), (b1), (b2(Q)) dla
Q > 2. Jeśli zachodzi jeden z warunków:
" funkcja G spełnia warunek Lipschitza,
" funkcja G jest całkowalna,
to dla dowolnego � > 0
n
"
G(Xi) - EG(Xi) = Op.n.( n�n),
i=1
" " 1+�
1
Q Q
gdzie �n = (log n) (log log n) .
18
19