Wykład 5
Wnioski z metody najmniejszych kwadratów
Rozwa\
my układ równań normalnych w sytuacji, gdy model liniowy ma wyraz wolny, to znaczy
xtk a" 1. Układ równań normalnych mo\
na zapisać w postaci:
n n n n
2
a1 t1 +a2 t1xt 2 + ...+ ak xt1 = yt xt1
"x "x " "
t =1 t =1 t =1 t =1
n n n n
2
a1 t1xt 2 +a2 t2 + ...+ ak xt 2 = yt xt2
"x "x " "
(5.1)
t =1 t =1 t =1 t =1
& & & & & & & & & & & & & & & & & & & ..
n n n
a1 xt1 +a2 xt 2 + ...+ nak = yt
" " "
t =1 t =1 t =1
Ostatnie równanie podzielmy przez n:
n n n
1
a1 t1 +a2 yt (5.2)
"x 1 "x + ...+ ak = 1 "
t 2
n n n
t =1 t =1 t =1
a1x1 + a2x2 + ... + ak = y
(5.3)
Funkcja liniowa z wyrazem wolnym przechodzi przez wartości średnie zmiennych.
W dalszej analizie odwołajmy się do postaci układu bezpośrednio po zró\
niczkowaniu:
n
"S
=
"2Å"(y - a1xt1 - a2xt -... - ak xtk )Å"(- xt1)
2
"a1 t =1 t
n
"S
=
"2Å"(y - a1xt1 - a2xt -...- ak xtk )Å"(- xt )
2 2
"a2 t =1 t (5.4)
& & & & & & & & & & & & & & & & & & & & & &
n
"S
= Å"(yt - a1xt1 - a2xt 2 -... - ak xtk )Å"(-1)
"2
"ak t =1
dr Dua
an Bogdanov 1
Ekonometria 1
Z przyrównania pochodnych cząstkowych do zera otrzymaliśmy:
n
"2 Å"(yt - a1xt1 - a2xt -... - ak xtk )Å"(- xt1)= 0
2
t =1
n
"2 Å"(yt - a1xt1 - a2xt - ... - ak xtk )Å"(- xt ) = 0
2 2
(5.5)
t =1
& & & & & & & & & & & & & & & & & & & & &
n
"2 Å"(yt - a1xt1 - a2xt - ... - ak xtk )Å"(-1)= 0
2
t =1
n
"(y - a1xt1 - a2xt -...- ak xtk )Å" xt1 = 0
t 2
t =1
n
"(y - a1xt1 - a2xt - ... - ak xtk )Å" xt = 0
t 2 2
(5.6)
t =1
& & & & & & & & & & & & & & & & & & &
n
"(y - a1xt1 - a2xt -...- ak xtk )= 0
t 2
t =1
Odchylenia zaobserwowanych wartości zmiennej objaśnianej yt od wartości oszacowanej funkcji
w
t = a1xt1 + a2xt 2 + ... + ak xtk , to jest et = yt - w
t nazywamy resztami.
n
"e xt1= 0
t
t =1
n
"e xt = 0
t 2
(5.7)
t =1
& & & &
n
"e = 0
t
t =1
Z przedstawionych równań wynika, \
e w modelu liniowym szacowanym metodÄ… najmniejszych
kwadratów wektor reszt i zmienne objaśniane są ortogonalne i je\
eli w modelu jest wyraz wolny
to suma reszt jest równa 0.
dr Dua
an Bogdanov 2
Ekonometria 1
W warunku 3 stosowania metody najmniejszych kwadratów \
ądamy, aby zmienne objaśniające
były liniowo niezale\
ne, to znaczy aby \
adna ze zmiennych objaśniających nie była kombinacją
T
liniową pozostałych zmiennych. Spełnienie tego warunku gwarantuje nam, \
e macierz (X X) jest
T
nieosobliwa tzn. det(X X)`" 0 , a więc układ równań normalnych ma rozwiązanie. Sprawdz
my
to na przykładzie modelu, w którym będą tylko dwie zmienne objaśniające: y = ą1x1 +ą x2 ,
2
je\
eli te zmienne będą liniowo zale\
ne to x1 = px2 , p - skalar, wówczas:
n n n n
îÅ‚ Å‚Å‚ îÅ‚ Å‚Å‚
xt2 xt1xt 2 śł ïÅ‚ p2xt22 pxt 2xt 2 śł
" " " "
1
ïÅ‚
T
t =1 t =1 t =1 t =1
(X X)= ïÅ‚ śł ïÅ‚ śł
=
n n n n
ïÅ‚ śł ïÅ‚ śł
" " " "
(5.8)
ïÅ‚t =1 xt1xt 2 t =1 xt22 śł ïÅ‚t =1 pxt 2xt 2 t =1 xt22 śł
ðÅ‚ ûÅ‚ ðÅ‚ ûÅ‚
2 2
n n
ëÅ‚ öÅ‚ ëÅ‚ öÅ‚
T
det(X X)= p2ìÅ‚ xt22 ÷Å‚ - p2ìÅ‚ xt22 ÷Å‚ = 0
" "
ìÅ‚ ÷Å‚ ìÅ‚ ÷Å‚
íÅ‚ t =1 Å‚Å‚ íÅ‚ t =1 Å‚Å‚
Rozwa\
my jeszcze, te\
na przykładzie modelu z dwiema zmiennymi objaśniającymi, przypadek
n
przeciwny, to znaczy, gdy zmienne objaśniające są ortogonalne (prostopadłe), wtedy xt1xt 2 = 0 ,
"
t =1
oceny parametrów tego modelu będą miały postać:
-1
T T
(5.9)
a = (X X) X Y
n n n
îÅ‚ Å‚Å‚ îÅ‚ Å‚Å‚
2
xt2 xt1xt 2śł ïÅ‚ t1 0
" " "x
1
ïÅ‚ śł
T
t =1 t =1
(X X)= ïÅ‚ śł ïÅ‚t =1 n śł (5.10)
=
n n
2 2
ïÅ‚
"x "x śł ïÅ‚ 0 "x śł
t 2
ïÅ‚t =1 t1xt 2 t =1 t 2 śł ïÅ‚ śł
ðÅ‚ ûÅ‚ ðÅ‚ t =1 ûÅ‚
n n
T
(5.11)
det(X X )= xt2 xt22
" "
1
t =1 t =1
n n
îÅ‚ Å‚Å‚ îÅ‚ Å‚Å‚
xt22 0 yt xt1 śł
" "
ïÅ‚ śł ïÅ‚
a1
îÅ‚ Å‚Å‚
1
t =1
= ïÅ‚t =1 śł ïÅ‚ śł (5.12)
Å"
ïÅ‚a śł n n
n n
ðÅ‚ 2 ûÅ‚
0 xt2 śł ïÅ‚ yt xt 2 śł
xt2 xt22 ïÅ‚
" "
" " 1
1
ïÅ‚ śł ïÅ‚t śł
ðÅ‚ t =1 ûÅ‚ ðÅ‚ =1 ûÅ‚
t =1 t =1
dr Dua
an Bogdanov 3
Ekonometria 1
n
îÅ‚ Å‚Å‚
yt xt1 śł
"
ïÅ‚
t =1
ïÅ‚ śł
n
ïÅ‚ śł
"
1
ïÅ‚ śł
a1 t =1 xt2
îÅ‚ Å‚Å‚
= (5.13)
ïÅ‚ śł
ïÅ‚a śł n
ðÅ‚ 2ûÅ‚
ïÅ‚
yt xt 2 śł
"
ïÅ‚ śł
t =1
ïÅ‚ n śł
ïÅ‚ śł
xt22
"
ïÅ‚ śł
ðÅ‚ t =1 ûÅ‚
Z powy\
szego widać, \
e w przypadku zmiennych objaśniających ortogonalnych oceny parametrów
przy poszczególnych zmiennych zale\
ą tylko od obserwacji tych zmiennych i zmiennej objaśnianej.
Wniosek ten mo\
na uogólnić na dowolną liczbę zmiennych objaśniających. Wzajemna ortogonalność
zmiennych objaśniających jest korzystna dla interpretacji parametrów strukturalnych modelu1.
Pytania kontrolne:
1. Kiedy zmienne objaśniające modelu są ortogonalne?
2. Jakie skutki dla szacunków parametrów modelu ma ortogonalność zmiennych?
3. Kiedy zmienne sÄ… liniowo niezale\
ne?
1
M. Rocki, Ekonometria praktyczna, SGH, Warszawa 2000, s. 28-29
dr Dua
an Bogdanov 4
Ekonometria 1