Wykład 6
Własności estymatora parametrów klasycznego modelu liniowego
uzyskanego metodą najmniejszych kwadratów
Wyka\
emy, \
e przy spełnieniu warunków stosowania metody najmniejszych kwadratów estymator
uzyskany metodą najmniejszych kwadratów posiada po\
ądane właściwości. W rozwa\
aniach
zachowamy oznaczenia z poprzednich wykładów.
Twierdzenie 1
Je\
eli model jest klasycznym modelem liniowym, to znaczy spełnione są warunki 1-4, to estymator
parametrów tego modelu, wyznaczony metodą najmniejszych kwadratów jest nieobcią\
ony.
Dowód:
Nale\
y wykazać, \
e wartość oczekiwana estymatora jest równa wartości parametru, tzn.
E(a) = Ä…
na podstawie warunku 1:
-1 -1
T T T T
E(a)= E[(X X) X Y]= E[(X X) X (XÄ… + µ )]=
(6.1)
-1 -1 -1
T T T T T T
E(a)= E[(X X) X XÄ… +(X X) X µ]= E[Ä… +(X X) X µ]
Następnie korzystamy z warunku 2, \
e zmienne objaśniające są nielosowe oraz z warunku 4,
-1 -1
T T T T
\
e skÅ‚adniki losowe majÄ… wartość oczekiwanÄ… 0: E[(X X) X µ]= (X X) X E(µ )= 0
stÄ…d:
-1
T T
(6.2)
E(a)= E(Ä…)+ E[(X X) X µ]= Ä…
co kończy dowód.
Twierdzenie 2
Je\
eli model jest klasycznym modelem liniowym to macierz wariancji i kowariancji estymatorów
parametrów tego modelu wyznaczonych metodą najmniejszych kwadratów wyra\
a siÄ™ wzorem:
-1
2 T
(6.3)
D2(a) = Ã (X X)
dr Dua
an Bogdanov 1
Ekonometria 1
Dowód:
T
-1 -1
T T T T
D2(a)= E(a -Ä…)(a -Ä…)T = EÅ„Å‚[(X X) X Y -Ä…]Å"[(X X) X Y -Ä…]
òÅ‚
ół
T
-1 -1
üÅ‚
T T T T
= EÅ„Å‚[(X X) X (XÄ… + µ )-Ä…]Å"[(X X) X (XÄ… + µ )-Ä…] =
òÅ‚ żł
ół þÅ‚
(6.4)
T
-1 -1
üÅ‚
T T T T
= EÅ„Å‚[(X X) X µ]Å"[(X X) X µ] =
òÅ‚ żł
ół þÅ‚
-1 -1 -1 -1
T T T T T T T T T
= E[(X X) X µµ X (X X) ]= (X X) X E(µµ )X(X X)
T 2
poniewa\
E(µµ )= Ã I to
-1 -1 -1
T T 2 T 2 T
(6.5)
D2(a)= (X X) X Ã I Å" X(X X) = Ã (X X)
co kończy dowód.
Twierdzenie 3 Gaussa-Markowa1
Je\
eli model jest klasycznym modelem liniowym to estymator wyznaczony metodÄ… najmniejszych
kwadratów jest najefektywniejszym nieobcią\
onym liniowym estymatorem parametrów tego modelu.
Dowód:
Mówimy, \
e estymator jest liniowy, je\
eli jest liniowÄ… funkcjÄ… wektora Y to znaczy mo\
na go
przedstawić w postaci: a = AY , gdzie A jest dowolną macierzą nielosową o wymiarach (k x n).
Aby estymator AY był nieobcią\
ony, to znaczy aby jego wartość oczekiwana była równa
parametrowi:
E(AY) = E[A(XÄ… + µ )]= AXÄ… = Ä… (6.6)
potrzeba aby AX = I
1
Por. G. C. Chow, Ekonometria, Wydawnictwo Naukowe PWN, Warszawa 1995, s. 80 i nast.
dr Dua
an Bogdanov 2
Ekonometria 1
Macierz wariancji i kowariancji nieobciÄ…\
onego estymatora AY jest równa:
T
E[(AY -Ä…)(AY -Ä…)T]= E{[A(XÄ… + µ )-Ä…]Å"[A(XÄ… + µ )-Ä…] }=
(6.7)
T T 2
= E(Aµµ AT )= AÅ" E(µµ )AT = Ã AAT
-1
T T
Macierz Amo\
na przedstawić jako sumę macierzy (X X) X i pewnej macierzy B ,
po podstawieniu do równości AX = I otrzymujemy:
-1 -1
T T T T
(6.8)
AX =[(X X) X + B]X = (X X) X X + BX = I + BX = I
stÄ…d:
BX = 0
wyznaczmy macierz wariancji i kowariancji estymatora AY
-1 -1
T T T T
AX =[(X X) X + B]X = (X X) X X + BX = I + BX = I
T
-1 -1
2 2 T T T T
D2(AY )= Ã AAT = Ã [(X X) X + B]Å"[(X X) X + B] =
(6.9)
-1 -1 -1 -1
2 T T T T T T
= Ã [(X X) X X(X X) +(X X) X BT + BX(X X) + BBT]=
-1
2 T
= Ã [(X X) + BBT]
a więc:
-1
T T
(6.10)
D2(AY ) e" D2((X X) X Y)
dr Dua
an Bogdanov 3
Ekonometria 1
czyli macierz kowariancji dowolnego liniowego nieobciÄ…\
onego estymatora jest większa od macierzy
-1
2 T
kowariancji à (X X) estymatorów uzyskanych metodÄ… najmniejszych kwadratów, co koÅ„czy
dowód.
Twierdzenie 4
Je\
eli model jest klasycznym modelem liniowym i parametry tego modelu szacowane sÄ… metodÄ…
2
najmniejszych kwadratów, to nieobcią\
ony estymator wariancji składnika losowego à wyra\
a siÄ™
wzorem:
n
1 1
2
s2 = eTe = (6.11)
"e
t
n - k n - k
t =1
Dowód:
-1 -1
T T T T
e = Y - Xa = XÄ… + µ - X(X X) X Y = XÄ… + µ - X(X X) X (XÄ… + µ )=
(6.12)
-1 -1
T T T T
= µ - X(X X) X µ =[In - X(X X) X ]Å"µ
Następnie wyznaczymy wartość oczekiwaną eTe . Przyjmiemy dodatkowo, \
etr oznacza ślad
macierzy, to jest sumę elementów na głównej przekątnej macierz kwadratowej. W dalszych
przekształceniach skorzystamy z własności: tr(AB)= tr(BA).
-1 -1
T T T T T
(6.13)
EeTe = E{µ [In - X(X X ) X ][In - X(X X ) X ]µ =}
-1
T T T
= E{µ [In - X(X X ) X ]µ}=
-1
T T T
= E{tr(µ [In - X(X X ) X ]µ)}=
-1
T T T
EeT e = E{tr[In - X(X X) X ]µ µ}=
dr Dua
an Bogdanov 4
Ekonometria 1
-1
T T T
= tr[In - X(X X ) X ]Eµ µ =
-1
2 T T 2
= Ã [trIn - tr((X X ) X X)]= Ã (n - k)
1
2
A więc wartość oczekiwana wyra\
enia s2 = eT e wynosi à , czyli s2 jest nieobcią\
onym
n - k
estymatorem wariancji składnika losowego, co nale\
ało udowodnić.
Twierdzenie 5
Je\
eli model jest klasycznym modelem liniowym i składnik losowy ma rozkład normalny,
to estymator parametrów tego modelu wyznaczony metodą najmniejszych kwadratów
ma k- wymiarowy rozkład normalny.
Dowód:
-1 -1 -1
T T T T T T
(6.14)
a = (X X) X Y = (X X) X (XÄ… + µ )= Ä… +(X X) X µ
Poniewa\
parametry modelu są nielosowe oraz zmienne objaśniające są nielosowe,
a µ ma rozkÅ‚ad normalny to a te\
ma rozkład normalny, co nale\
ało udowodnić.
Przedstawione twierdzenia stanowią teoretyczną podstawę budowy jednorównaniowych liniowych
modeli ekonometrycznych.
Z twierdzenia 1 oraz z twierdzenia Gaussa-Markowa wynika, \
e wyznaczony metodÄ…
najmniejszych kwadratów estymator parametrów klasycznego modelu liniowego jest nieobcią\
ony
i najefektywniejszy w klasie nieobciÄ…\
onych estymatorów liniowych.
Natomiast z twierdzenia 2 i 4 wynika, \
e nieobciÄ…\
ony estymator macierzy wariancji i kowariancji
T
Ć
ocen parametrów klasycznego modelu liniowego ma postać: D2(a)= s2(X X). Na głównej
przekątnej tej macierzy znajdują się wariancje ocen parametrów modelu, a ich pierwiastki
to odchylenia standardowe ocen parametrów. Nazywa się je błędami standardowymi ocen
parametrów. Wyra\
ajÄ… siÄ™ one wzorem:
dr Dua
an Bogdanov 5
Ekonometria 1
-1
T
(6.15)
bi = s cii , i = 1,2,...k, cii "(X X)
Błędy standardowe szacunków parametrów są podstawą oceny dokładności estymacji, przy czym
w praktyce do oceny u\
ywa się błędów względnych (stosunek błędu szacunku i oceny parametru).
Dowodzi siÄ™, \
e przy zało\
eniach 1-4 elementy macierzy D2(a)dÄ…\
Ä… do zera, gdy liczba
obserwacji n dÄ…\
y do nieskończoności. Z twierdzenia 1 wynika natomiast, \
e estymatory parametrów
strukturalnych modelu; sÄ… nieobciÄ…\
one, a więc są one zgodne. Zgodność estymatorów gwarantuje
zmniejszanie się prawdopodobieństwa popełniania błędów szacunku wraz ze wzrostem liczby
obserwacji.
Ponadto w twierdzeniu 4 określony został estymator parametru struktury stochastycznej modelu.
Sformułujemy jeszcze dwa twierdzenia, które co prawda nie odgrywają \
adnej roli w estymacji
parametrów, jednak są wykorzystywane w weryfikacji, pierwsze- do badania istotności parametrów
strukturalnych modelu, drugie- liniowej zale\
ności zmiennej objaśnianej i zmiennych objaśniających.
Twierdzenie 6
Je\
eli model jest klasycznym modelem liniowym i składniki losowe mają rozkład normalny
i estymatory parametrów modelu są wyznaczone metodą najmniejszych kwadratów to zmienna
losowa:
ai -Ä… ai -Ä…i
i
Zi = ma rozkład normalny standaryzowany, a zmienna losowa: ti =
à cii s cii
ma rozkład Studenta o n-k stopniach swobody.
Twierdzenie 7
Je\
eli zmienna objaśniana Y ma rozkład normalny i nie jest liniowo skorelowana ze zmiennymi
objaśniającymi (X1, X2,...Xk ) to zmienna losowa
1 1
2
R2 (1-Õ )
k -1 k -1
F = = (6.16)
1 1
(1- R2) Õ2
n - k n - k
dr Dua
an Bogdanov 6
Ekonometria 1
ma rozkład Fishera-Snedecora o k-1 i n-k stopniach swobody.
Pytania kontrolne:
1. Kiedy mówimy, \
e estymator jest liniowy?
2. Co stanowi podstawę oceny dokładności estymacji?
3. Co to jest błąd standardowy oceny parametru?
4. Je\
eli zmienna objaśniana ma rozkład normalny i nie jest liniowo skorelowana
ze zmiennymi objaśniającymi to, jaki rozkład ma zmienna losowa?
dr Dua
an Bogdanov 7
Ekonometria 1