mnk

Paweł Strawiński

Notatki do ćwiczeń z ekonometrii

1.3

Własności statystyczne estymatorów MNK

1. Estymator nazywamy estymatorem nieobciążonym, jeżeli jego wartość

oczekiwana jest równa wartości szacowanego parametru. Udowodnimy,
że estymator MNK wektora parametrów β jest nieobciążony. W tym
celu obliczymy jego wartość oczekiwaną

E(b) = E((X

−1

Podstawiając do wzoru formułę na y wynikającą z modelu liniowego
otrzymujemy

E(b) = E((X

−1

y) = E((X

−1

(Xβ + ε))

= E((X

−1

Xβ)+E((X

−1

ε) = E(β)+(X

−1

E(ε)
| {z }

= β

Rzeczywiście b jest estymatorem nieobciążonym.

Estymator obciążony

2. Estymatorem liniowym nazywamy estymator, który można przedstawić

jako kombinację liniową zaobserwowanych wartości zmiennej zależnej
y. Estymator MNK wektora parametrów β jest liniowy, ponieważ

b = (X

−1

}

Paweł Strawiński

Notatki do ćwiczeń z ekonometrii

Obliczymy obciążenie dowolnego estymatora liniowego ˆ

b. Niech ˆ

b =

Cy gdzie C jest macierzą nielosową, będzie dowolnym estymatorem
liniowym. Wtedy:

E(ˆ

b) = E(Cy) = CE(y) = CE(Xβ + ε) = CXβ

Estymator liniowy Cy jest nieobciążony wtedy i tylko wtedy, gdy CX =
I. Istnieje nieskończenie wiele macierzy C o tej własności.

3. Wariancja estymatora wektora parametrów β

var(b) = E(b − β)(b − β)

E[((X

−1

}

β+(X

−1

ε−β)((X

−1

}

β+(X

−1

ε−β)

] =

E[(X

−1

εε

X(X

−1

] =

−1

E(εε

)X(X

−1

ponieważ macierz X jest nielosowa, możemy ją wyłączyć spod znaku
wartości oczekiwanej otrzymując

E(εε

)(X

−1

X(X

−1

}

= σ

−1

4. Wariancja estymatora liniowego

Niech macierz C = (X

−1

+ D. Wobec tego

CX = (X

−1

X + DX = I + DX

Z tego wynika, że estymator ˆ

b jest nieobciążony gdy DX = 0.

var(ˆ

b) = E[(Cy − β)(Cy − β)

] =

E[(CXβ + Cε − β)(CXβ + Cε − β)

] =

E[(β + Cε − β)(β + Cε − β)

] =

E(εε

) = σ

= σ

−1

+ σ

bowiem

D = C − (X

−1

wobec tego

DX = CX − (X

−1

X = I − I = 0

Ponieważ macierz DD

jest nieujemnie określona, wariancja dowolnego

liniowego estymatora jest większa o nieujemnie zdefiniowaną macierz
od wariancji estymatora uzyskanego z MNK.

Paweł Strawiński

Notatki do ćwiczeń z ekonometrii

5. Nieobciążony estymator wariancji dla estymatora wektora parametrów

e = M y = M (Xβ + ε) = M ε

ponieważ M X = 0

e = ε

M ε = ε

M ε

E(e

e) = E(ε

M ε) = E(tr(ε

M ε)) = E(tr(M ε

ε)) = tr(M E(ε

ε)) =

ponieważ estymator jest liniowy, a macierz M nielosowa i idempotent-
na. Należy również zauważyć, że macierz idempotentna jako wartości
własne ma wyłącznie 0 i 1.

tr(M σ

) = σ

tr(M ) = σ

tr(I − X(X

−1

) =

(N − tr(X(X

−1

)) = σ

(N − tr((X

−1

X)) = σ

(N − k).

Macierz X ma wymiary NxK. Więc macierze (X

X) oraz (X

−1

mają

wymiary KxK. Ponieważ macierz (X

−1

X jest macierzą idempo-

tentną o pełnym rzędzie więc można ją doprowadzić do postaci diago-
nalnej z wartościami 1 na diagonali. Z tego wynika, że jej ślad wynosi
k. Wobec tego S

N −k

jest nieobciążonym estymatorem nieznanej

wariancji składnika losowego.

Przykład 1.

W klasycznym modelu regresji liniowej y = Xβ + ε zastąpiono standardowy
estymator parametru β przez b

∗

= (X

AX)

−1

Ay, gdzie A

N xN

jest znaną

nielosową macierzą symetryczną. Sprawdź czy:

(a) estymator b

∗

jest liniowy,

(b) estymator b

∗

jest nieobciążony,

(c) znaljdź jego macierz wariancji.

Rozwiązanie

ad (a) Estymator b

∗

jest liniowy ponieważ jest liniową funkcją zmiennej y.

ad (b)

E(b

∗

) = E((X

AX)

−1

Ay) = E((X

AX)

−1

A(Xβ + ε)) =

E[(X

AX)

−1

AXβ + (X

AX)

−1

Aε] =

E(β) + E[(X

AX)

−1

Aε] = β + (X

AX)

−1

AE(ε) = β

Paweł Strawiński

Notatki do ćwiczeń z ekonometrii

ad (c)

var(b

∗

) = E(b

∗

− E(b

∗

))(b

∗

− E(b

∗

)) = E(b

∗

− β))(b

∗

− β)

) =

E(((X

AX)

−1

Ay − β)((X

AX)

−1

Ay − β)

) =

E(((X

AX)

−1

A(Xβ + ε − β))((X

AX)

−1

A(Xβ + ε − β))

) =

E(((X

AX)

−1

AXβ+(X

AX)

−1

Aε−β)((X

AX)

−1

AXβ+(X

AX)

−1

Aε−β)

) =

E((β + (X

AX)

−1

Aε − β)((β + (X

AX)

−1

Aε − β)

) =

E(((X

AX)

−1

Aε)(((X

AX)

−1

Aε)

) =

E((X

AX)

−1

Aεε

X(X

AX)

−1

) =

AX)

−1

AE(εε

X(X

AX)

−1

E(εε

)(X

AX)

−1

X(X

AX)

−1

AX)

−1

X(X

AX)

−1

Przykład 2.

Pokaż, że estymator e

b = (X

X + A)

−1

y jest nieobciążony w KMRL wtedy

i tylko wtedy gdy Aβ = 0.

Rozwiązanie

By pokazać nieobciążoność estymatora należy obliczyć jego obciążenie:

E(e

b) = E((X

X + A)

−1

E(e

b) = E((X

X + A)

−1

(Xe

b) + ε)

E(e

b) = E((X

X + A)

−1

b + (X

X + A)

−1

ε)

E(e

b) = E((X

X + A)

−1

b) + E((X

X + A)

−1

ε)

E(e

b) = E((X

X + A)

−1

b) + (X

X + A)

−1

E(ε)

E(e

b) = E((X

X + A)

−1

b) + 0

(1)

Ponieważ estymator z równania (1) różni się od zwykłego estymatora MNK,
który jest nieobciążony, tylko macierzą A to jest on nieobciążony wtedy i tyl-
ko wtedy gdy A = 0. Wobec tego iloczyn Ae

b = 0 jeśli e

b jest estymatorem

nieobciążonym.

Paweł Strawiński

Notatki do ćwiczeń z ekonometrii

Przykład 3.
Mamy model następującej postaci:

= β

+ β

+ ε

t = 1 . . . T

1 dla t ≤ k

0 dla

t > k

var(ε) = σ

(a) Posługując się wzorami dla MNK wyprowadź postać estymatorów MNK

dla parametrów β

i β

i oblicz je dla T = 40, k = 20,

T
t=1

30,

k
t=1

= 10.

(b) udowodnij, że te estymatory są nieobciążone jeśli spełniają założenia

KMRL,

(c) Podaj postać macierzy wariancji-kowariancji dla estymatorów b

i b

jeśli

spełnione są założenia KMRL.

Podpowiedź

Skorzystaj z tego, że:

T k

−1

T − k

−1

Rozwiązanie

ad (a) Dla tego modelu

X =













1 1











1..k

1 0











k + 1..T













, X

X =

T k

, X

y =

T
t=1

k
t=1

więc

b = (X

−1

y =

T − k

−1

T
t=1

k
t=1

b =

−1

−

1
2

Paweł Strawiński

Notatki do ćwiczeń z ekonometrii

ad (b) Można zastosować standardowy dowód na nieobciążoność estymatora

KMRL:

E(b) = E((X

−1

y) = E((X

−1

(Xβ+ε)) = β+(X

−1

E(ε) = β

Estymator jest nieobciążony.

ac (c) jeżeli spełnione są założenia KMRL to macierz wariancji jest równa

var(b) = σ

−1

= σ

T − k

−1

1.4

Testowanie hipotez statystycznych

Lemat 1 Niech X będzie wektorem o standardowym rozkładzie normalnym
N (0, 1). Wtedy X

X ∼ χ

2
k

, gdzie k jest rzędem macierzy X.

Niech A będzie macierzą idempotentną rzędu r. Wtedy forma kwadratowa
X

AX ∼ χ

2
r

ma rozkład χ

o r stopniach swobody.

Lemat 2 Niech X będzie pojedynczą zmienną losową o rozkładzie X ∼ N (0.1),
oraz niech w ∼ χ

2
r

. Dodatkowo załóżmy że zmienne losowe X i w są nieza-

leżne. Wówczas:

∼ t

(2)

ma rozkład t-Studenta o r stopniach swobody.

Jeżeli przez i

oznaczymy wersor k-tej osi, oraz przez b

= i

0
k

b, k - ty

element wektora estymatorów, oraz przez c

= i

0
k

−1

element stojący

na k-tym miejscu diagonali macierzy (X

−1

. Wówczas estymator pojedyn-

czego parametru ma rozkład b

∼ N (β

, σ

). Jeżeli ten rozkład wystan-

daryzujemy to otrzymamy:

− β

√

∼ N (0, 1)

(3)

Estymator nieznanego parametru równania regresji ma rozkład normalny,
lecz w większości przypadków nie znamy wariancji zmiennej losowej dla której
liczymy estymator. Nieznaną wariancję z populacji zastępujemy estymatorem
obliczonym na podstawie wylosowanej próby. Można łatwo pokazać że:

(N − k)S

∼ χ

2
r

(4)

Paweł Strawiński

Notatki do ćwiczeń z ekonometrii

Podstawiając (3) oraz (4) do wzoru na statystykę t-Studenta (2), otrzymu-
jemy:

− β

√

(N − k)S

(N − k)

− β

√

∼ t

N −k

Ponieważ estymatory b i S są niezależne. (Dowód tego faktu jest dobrym

ćwiczeniem). W testach statystycznych nie jest możliwe jednoczesne kon-
trolowanie rozmiarów błędu pierwszego i drugiego rodzaju. W ekonometrii
przyjęto praktykę przyjmowania za hipotezę zerową taką hipotezę o której
zakładamy, że jest fałszywa, a następnie staramy się ją sfalsyfikować, czyli
odrzucić. Do badania istotności oszacowanych parametrów równania regresji
używamy statystyki t-Studenta. W testach zazwyczaj przyjmuje się 5% po-
ziom istnotności, co oznacza że błąd pierwszego rodzaju jest nie wyższy niż
5%. Oznacza to, że jeżeli rzeczywiście badany parametr jest równy zero to
przeprowadzony przez nas test wykaże to w conajmniej w 95 przypadkach na
100 przeprowadzonych testów. Jednak zawsze istnieje prawdopodobieństwo
popełnienia błędu drugiego rodzaju, czyli przyjęcia hipotezy fałszywej. Taką
hipotezę uznajemy za prawdziwą w sytuacji, gdy na postawie przeprowadzo-
nego testu odrzucamy hipotezę zerową.

Test sprawdza czy parametr β

jest istotnie różny od zera. Hipotezą ze-

rową testu istnotności jest H

: β

= 0.

Wobec tego statystyka testowa redukuje się do:

√

se(b

)

∼ t

α,N −k

(5)

Ta statystyka jest podstawową wartością liczoną przez każdy pakiet staty-
styczny. Zazwyczaj jest ona nazywana t-ratio. Jeżeli obliczona wartość sta-
tystyki jest większa od wartości krytycznej odczytanej z tablic, wtedy odrzu-
camy hipotezę zerową i mówimy że współczynnik jest istotny statystycznie.
Wartości krytyczne dla dużych prób na poziomie istotności 5% wynoszą od-
powiednio t = 1.96 dla testu dwustronnego lub t = 1.64 dla jednostronnego.
Dla dużych prób rozkład t-Studenta dąży według rozkładu do rozkładu nor-
malnego, i powyższe wartości są po prostu kwantylami rozkładu normalnego.
Mogą one być traktowane jako wyznaczniki istotności w przypadku gdy nie
dysponujemy tablicami statystycznymi. Pakiet STATA wraz ze statystyką
t − ratio podaje jej p-value, czyli oblicza jakie jest prawdopodobieństwo, że
statystyka t przyjmie obliczoną wartość pod warunkiem prawdziwości hipo-
tezy zerowej. Interpretacja p-value jest prosta. Jeśli p-value ¡ 0.05 (wartość
statystyki t jest duża) to odrzucamy hipotezę zerową, o tym że dany parametr
regresji jest równy 0, na korzyść hipotezy alternatywnej że jest od zera różny.

Paweł Strawiński

Notatki do ćwiczeń z ekonometrii

Testowanie istotności równania regresji

Zazwyczaj duże znaczenie badawcze ma pytanie czy równanie regresji

jako całość jest statystycznie istotne. Ten test jest łącznym testem hipotezy,
że jednocześnie wszystkie parametry wektora β poza stałą są równe zero.
Jeżeli wszystkie współczynniki β są równe zero to równanie regresji liniowej
niewiele wyjaśnia, wobec tego współczynnik R

jest mały. Test sprawdzający

istnotność równania regresji bazuje na wartości statystyki R

. Statystyka

testowa

F (k − 1, N − k) =

/(k − 1)

(1 − R

)/(N − k)

(6)

ma rozkład F z (k-1) i (N-k) stopniami swobody. K-1 to liczba zmiennych
w równaniu regresji bez stałej, a N-k to liczba zmiennych wolnych. Statysty-
ka F mierzy utratę dopasowania, gdy narzucimy ograniczenie, że wszystkie
współczynniki równania regresji poza stałą są równe zero.
Jeżeli przekształcimy wzór (6) to otrzymamy:

F (k − 1, N − k) =

(N − k)R

(k − 1)(1 − R

)

k − 1

N − k

(1 − R

)F (k − 1, N − k)

k − 1

N − k

F (k − 1, N − k) −

k − 1

N − k

F (k − 1, N − k)R

k−1

N −k

F (k − 1, N − k)

1 +

k−1

N −k

F (k − 1, N − k)

Widać, że duża wartość R

współwystępuje z dużą wartością statystyki F.

Przykład 2.

Po przeprowadzeniu wywiadu z piędziesięcioma osobami oszacowano MNK
model płac o postaci:

lnW

= β

+ β

+ ε

gdzie W to indywidualna płaca (w złotych), A - okres zatrudnienia w pełnym
wymiarze czasu (w latach), S - liczba lat nauki (w latach). Oto wyniki:

lnW

1.202

0.029A

0.123S

= 0.396

(0.197)

(0.006)

(0.035)

Paweł Strawiński

Notatki do ćwiczeń z ekonometrii

(a) Oceń jakość dopasowania modelu do danych empirycznych,

(b) Sprawdź czy zmienne występujące w modelu są istotne łącznie i każda z

osobna.

(c) Zinterpretuj otrzymane wyniki.

Rozwiązanie

ad (a)

= 1 −

(1 − 0.396) = 0.3703

Około 37 % zróżnicowania płac jest wyjaśniane przez model.

ad (b)

1.202
0.197

= 6.10 t

0.029
0.006

= 4.83 t

0.123
0.035

= 3.51

czyli każda zmienna osobno jest istotna. Pozostał jeszcze do przepro-
wadzenia test łącznej istostności.

F (2, 47) =

0.396/2

0.604/47

0.198

0.012851

= 15.40

Wartość krytyczna F

0.95

(2, 50) = 2.79, wobec tego statystyka testowa

znajduje się w obszarze krytycznym, czyli odrzucamy hipotezę zerową o
tym że współczynniki regresji są łącznie nieistotne.

ad (c) Wzrost stażu pracy o rok przyczynia się do przeciętnego wzrostu płacy

o 3 %, ponieważ e

0.029

= 1.029. Rok nauki przyczynia się do wzrostu

średniej płacy o 13 %, ponieważ e

0.123

= 1.13.

Przykład 3.

Na podstawie informacji z badań gospodarstw domowych w czterech krajach
europejskich zbudowano następujący model opisujący strukturę wydatków.

lnS

= β

+ β

ln(I

) + β

ln(F

) + ε

gdzie lnS to logarytm oszczędności (w walucie krajowej), lnI - logarytm do-
chodu (w walucie krajowej), lnF - logarytm wydatków na żywność (w walucie
krajowej). By zlikwidować efekty zróżnicowania pomiędzy krajami do modelu
dodano stałe dla każdego kraju. Dodatkowo przyjmujemy założenie, że wy-
datki konsumpcyjne nie zależą od dochodu. Sprawdź statystyczną istotność
otrzymanych wyników i dokonaj ich interpretacji

Paweł Strawiński

Notatki do ćwiczeń z ekonometrii

Number of obs =

13445

2, 13439) = 1047.13

Prob > F

0.0000

R-squared

0.5108

Adj R-squared =

0.5106

Root MSE

1.8623

---------------------------------------------------------------------------

savings |

Coef.

Std. Err.

P>|t|

[95% Conf. Interval]

-----------+---------------------------------------------------------------

income |

1.048205

.0302841

.9888439

1.107566

food |

-.0459197

.0203422

.4193238

.4990709

_cons |

-.3158473

.2269704

-.7607412

.1290467

-----------+---------------------------------------------------------------

country |

F(3, 13439) =

579.538

0.000

(4 categories)

Rozwiązanie

inc

1.048
0.030

= 34.93 t

f ood

−0.0459

0.020

= −2.29 t

cons

−0.316

0.227

= −1.39

Indywidualne statystyki t wskazują, że jedynie stała w modelu nie jest staty-
stycznie istotna. Łącznie zmienne są istotne na co wskazuje wartość statystyki
F.
Wyestymowany model jest modelem log-liniowym, więc otrzymane współ-
czynniki mogą być interpretowane jako elastyczności. 1% wzrost dochodu
powoduje 1,04% wzrost oszczędności, natomiast 1 % wzrost wydatków na
żywność powoduje 0,05 % spadek oszczędności.

Literatura

[1] William H. Greene (2003) Econometric Analysis, 5th edition.

[2] Jerzy Mycielski (2000) Notatki do ćwiczeń z ekonometrii, WNE.

[3] Aleksander Welfe (1998) Zbiór zadań z ekonometrii, PWE

Wyszukiwarka

Podobne podstrony:
MNK skrypt
mnk folie
Aproksymacja MNK
Ćw 3 MNK
MNK-interpretacja wzory, III semstr- studia
MNK-skrypt
zadanie 2 MNK
Ćw 3 MNK
MNK liniowy 2 zmienne objasniajace(1)
przykadowe zadania MNK, studia, ekonometria
MNK skrypt
Zadanie 1 i MNK
MNK regresja liniowa
ĆW MNK
Trend liniowy przykład MNK

więcej podobnych podstron