1

Ćwiczenia 3 - 4

Przydatne fakty:

1. Estymator wariancji składnika losowego

:

2

1

2

1

ˆ

( '

'

' )

n

i

i

e

n k

y y b X y

n k

σ

=

−

∑

=

=

−

−

- jest to

miara zmienności reszt.

2. Macierz wariancji-kowariancji estymatora parametrów

β

:

bb

∑

=

′

−

σ

2

1

(

)

X X

. Jako, że

prawdziwa wartość wariancji składnika losowego,

2

σ

, jest nieznana, używamy jej estymatora, czyli

zaproponowany wcześniej

2

ˆ

σ

.

Mamy więc

2

1

(

)

bb

σ

−

′

=

∑

X X

.

Na przekątnej tej macierzy stoją wariancje oszacowań (estymatorów) parametrów modelu:

1

2

var( )

var( )

var( )

bb

k

k k

b

b

b

×













Σ =







































z oznaczenia:

1

2

2

2

2

1

2

var( )

, var( )

, ... , var( )

k

b

b

b

k

b

b

b

σ

σ

σ

=

=

=

Mo

ż

emy wi

ę

c zapisa

ć

:

1

2

2

2

2

k

b

b

bb

b

k k

σ

σ

σ

×













Σ =















































3. Standardowy błąd szacunku ( = standardowy błąd estymatora) parametru

i

β

(czyli

standardowy błąd

i

b

)

równy jest jego odchyleniu standardowemu (czyli pierwiastkowi z jego wariancji). Z

oznaczenia:

2

var( )

i

i

b

b

i

b

σ

σ

=

=

. Innymi słowy – bł

ą

d standardowy

i

b

to pierwiastek z

i

– tego miejsca

diagonalnej macierzy

bb

Σ .

Mamy wi

ę

c:

1

1

2

2

2

2

2

1

2

,

var( )

,

var( )

, ...

var( )

k

k

b

b

b

b

b

b

k

b

b

b

σ

σ

σ

σ

σ

σ

=

=

=

=

=

=

Standardowy bł

ą

d szacunku parametru

i

β

mówi o ile jednostek warto

ść

i

b

ró

ż

ni si

ę

od nieznanej wielko

ś

ci

parametru

i

β

.

4. Testowanie hipotez.

Po oszacowaniu modelu, mo

ż

liwe jest testowanie hipotez prostych (i zło

ż

onych). Hipotezy proste, to hipotezy

postaci:

0

0

:

i

i

H

β

β

=

oraz

0

1

:

i

i

H

β

β

≠

. Hipoteza zerowa mówi wi

ę

c,

ż

e przy okre

ś

lonym poziomie istotno

ś

ci,

nieznana warto

ść

parametru

i

β

równa jest

0

i

β . Hipoteza alternatywna mówi,

ż

e nie mo

ż

na tak twierdzi

ć

.

Statystyka testuj

ą

ca ma posta

ć

:

0

2;

~

i

i

i

i

b

n k

b

b

t

t

α

β

σ

−

−

=

, gdzie

α

jest przyj

ę

tym poziomem istotno

ś

ci.

Aby stwierdzi

ć

, czy s

ą

podstawy do odrzucenia hipotezy zerowej (i przyj

ę

cia alternatywnej), czy ich nie ma,

budujemy przydział:

;

2;

;

2;

;

kr

n k

kr

n k

t

t

α

α

−

−

−

, odczytuj

ą

c warto

ś

ci krytyczne z tablic rozkładu t-Studenta. Je

ś

li

statystyka testowa

i

b

t

wpada do przedziału, to nie mamy podstaw do odrzucenia

0

H

. Je

ś

li za

ś

statystyka

testowa wypada poza przedział, to przyjmujemy

1

H

.

2

5. Istotność poszczególnych zmiennych w modelu.

Wa

ż

ne jest zdanie sobie sprawy,

ż

e testowanie, czy poszczególne zmienne s

ą

w modelu istotne, to po prostu

jeden wa

ż

nych z przypadków testowania hipotez prostych po oszacowaniu modelu. Przypadek ten sprowadza

si

ę

do testowania nast

ę

puj

ą

cych hipotez:

0

:

0

i

H

β

= oraz

1

:

0

i

H

β

≠

Prosz

ę

zwróci

ć

uwag

ę

,

ż

e hipoteza zerowa mówi tyle,

ż

e parametr stoj

ą

cy przy zmiennej

i

x

jest równy zero, a

wi

ę

c,

ż

e ta zmienna nie wpływa w sposób istotny na zmienn

ą

obja

ś

nian

ą

, czyli

ż

e

i

x

jest w modelu nieistotna!

Hipoteza alternatywna mówi,

ż

e parametr przy zmiennej

i

x

jest od zera ró

ż

ny, a wi

ę

c,

ż

e zmienna ta jest w

modelu istotna.
Jak taka posta

ć

hipotez zmieni statystyk

ę

testow

ą

? Otó

ż

zobaczmy:

2;

0

~

i

i

i

i

i

b

n k

b

b

b

b

t

t

α

σ

σ

−

−

=

=

, czyli statystyka ta to iloraz oszacowania dla parametru

i

β

, którym jest

i

b

, i

standardowego bł

ę

du szacunku tego parametru (

i

b

σ

). Rozkład statystyki pozostaje niezmieniony, wi

ę

c decyzj

ę

o braku podstaw do odrzucenia

0

H

oraz o przyj

ę

ciu

1

H

b

ę

dziemy podejmowali tak, jak przy weryfikacji

innych hipotez prostych.
UWAGA! Wynika z tego,

ż

e przy testowaniu istotno

ś

ci zmiennej

i

x

w modelu, je

ś

li statystyka testowa

i

b

t

wpadnie do przedziału

;

2;

;

2;

;

kr

n k

kr

n k

t

t

α

α

−

−

−

, to przyjmujemy

0

H

, czyli uznajemy zmienn

ą

i

x

za nieistotn

ą

.

Jak statystyka

i

b

t

wypadnie poza ten przedział, to uznajemy

i

x

za istotn

ą

.

6. Przedziały ufności dla nieznanych wartości parametrów.

Przedział ufno

ś

ci dla nieznanej wielko

ś

ci parametru

i

β

dany jest wzorem:

;

2;

;

2;

ˆ

ˆ

(

)

1

i

i

i

kr

n k

b

i

i

kr

n k

b

P b

t

b

t

α

α

σ

β

σ

α

−

−

−

≤

≤

+

= −

Oznacza to,

ż

e prawdopodobie

ń

stwo,

ż

e nieznana wielko

ść

i

β

znajdzie si

ę

w tak zadanym przedziale, wynosi

1

α

−

. Sami mo

ż

emy „regulowa

ć

” to prawdopodobie

ń

stwo, ustalaj

ą

c poziom istotno

ś

ci

α

. (np. dla

0, 05

α

=

czyli

5%

α

=

, prawdopodobie

ń

stwo,

ż

e nieznana wielko

ść

i

β

znajdzie si

ę

w odpowiednim przedziale, wynosi

1 0, 05

0, 95

−

=

, czyli

95%

).

Reszta wielko

ś

ci jest nam ju

ż

znana.

7. Test na łączną istotność zmiennych objaśniających (Test na istotność równania regresji
/ istotność modelu)

Oprócz istotno

ś

ci poszczególnych zmiennych modelu, testowa

ć

mo

ż

emy równie

ż

, czy wszystkie zmienne

obja

ś

niaj

ą

ce (oprócz stałej) s

ą

w modelu ł

ą

cznie istotne. Dla modelu:

1

2

2

3 3

...

,

1,...,

i

i

i

k

ki

i

y

x

x

x

i

n

β

β

β

β

ε

=

+

+

+

+

+

=

Testujemy nast

ę

puj

ą

ce hipotezy:

0

2

3

:

...

0

k

H

β

β

β

=

=

=

=

1

2

3

:

,

,...,

0

k

H

nie wszystkie

są równoczesnie równe

β β

β

Hipoteza zerowa oznacza,

ż

e parametry dla wszystkich zmiennych obja

ś

niaj

ą

cych s

ą

równe zero, a wi

ę

c

ż

adna

z tych zmiennych nie jest w modelu istotna, czyli ł

ą

cznie s

ą

one nieistotne (wzgl

ę

dnie: równanie regresji jest

nieistotne). Hipoteza alternatywna mówi,

ż

e nie wszystkie parametry stoj

ą

ce przy zmiennych obja

ś

niaj

ą

cych s

ą

jednocze

ś

nie równe zero, a wi

ę

c ł

ą

cznie zmienne obja

ś

niaj

ą

ce s

ą

istotne (wzgl

ę

dnie: równanie regresji jest

istotne).
Statystyka testowa ma nast

ę

puj

ą

c

ą

posta

ć

:

2

1

2

(

)

(

)

~

(

1,

)

(

1)

(1

)(

1)

k

n k

ESS n

k

R n k

F

F k

n k

RSS k

R

k

−

−

−

−

=

=

−

−

−

−

−

. Znany jest wi

ę

c rozkład tej statystyki, co pozwala nam

odczyta

ć

z tablic rozkładu F-Snedecora warto

ść

krytyczn

ą

,

;

(

1;

)

kr

F

k

n

k

α

−

−

dla ustalonego poziomu istotno

ś

ci

α

. Decyzj

ę

podejmujemy w nast

ę

puj

ą

cy sposób:

3

Je

ś

li statystyka testowa jest mniejsza ni

ż

warto

ść

krytyczna (

1

k

n k

F

−

−

<

;

(

1;

)

kr

F

k

n

k

α

−

−

), to nie ma podstaw do

odrzucenia

0

H

. Je

ś

li relacja ta zachodzi w przeciwn

ą

stron

ę

(

1

k

n k

F

−

−

>

;

(

1;

)

kr

F

k

n

k

α

−

−

) , to przyjmujemy

1

H

.

8. Test na łączną istotność podzbioru regresorów / Test pominiętych zmiennych

Załó

ż

my,

ż

e mamy dwa konkurencyjne modele:

1

2

2

3 3

...

i

i

i

k

ki

i

i

i

y

x

x

x

X

β

β

β

β

ε

β ε

=

+

+

+

+

+

=

+

(1)

1

2

2

3 3

1 1

2 2

...

...

i

i

i

k

ki

i

i

m mi

i

i

i

i

y

x

x

x

z

z

z

X

Z

β

β

β

β

α

α

α

ε

β

α ε

=

+

+

+

+

+

+

+

+

+

=

+

+

(2)

Modele te s

ą

bardzo do siebie podobne, z tym

ż

e w modelu (1) na

i

y

wpływa (k-1) zmiennych obja

ś

niaj

ą

cych

zawartych w macierzy X, za

ś

w modelu (2), na t

ę

sam

ą

zmienn

ą

wpływaj

ą

znowu zmienne z macierzy X, ale

równie

ż

wpływa na ni

ą

m zmiennych z macierzy Z. Model (2) nazwiemy modelem bez ogranicze

ń

/bez

restrykcji (modelem ogólnym), za

ś

model (1) – modelem z ograniczeniami/restrykcjami (modelem

szczególnym), jako,

ż

e na parametry zmiennych z macierzy Z nało

ż

yli

ś

my ograniczenia,

ż

e s

ą

one równe zero,

wi

ę

c zmiennych tych w tym modelu nie ma, bo s

ą

nieistotne.

Je

ś

li chcieliby

ś

my szacowa

ć

model (1), musimy przeprowadzi

ć

test na ł

ą

czn

ą

istotno

ść

zmiennych zawartych w

macierzy Z (które s

ą

podzbiorem regresorów modelu (2)). Je

ś

li test nie pozwoli odrzuci

ć

hipotezy zerowej,

któr

ą

jest

0

:

0

H

α

= , to regresory z macierzy Z mo

ż

na pomin

ąć

, czyli poprawny jest model (1). Przyj

ę

cie

hipotezy alternatywnej (

1

:

0

H

α

≠ ) wskazuje na poprawno

ść

modelu (2).

Rozró

ż

nienie, który z modeli jest poprawny jest o tyle wa

ż

ne,

ż

e gdy szacujemy model (1), a poprawny jest

model (2) (problem zmiennych pomini

ę

tych), to

estymatory są obciążone

. Gdy sytuacja jest odwrotna i

szacujemy model (2) gdy poprawny jest model (1) (problem zmiennych nieistotnych), to

estymatory są

nieefektywne, ale pozostają nieobciążone

. Oczywi

ś

cie problem zmiennych pomini

ę

tych (obci

ąż

ono

ść

estymatorów) niesie ze sob

ą

du

ż

o bardziej negatywne konsekwencje dla oszacowa

ń

parametrów modelu ni

ż

problem zmiennych nieistotnych (estymatory mniej efektywne), jednak

ż

e obydwa przypadki s

ą

niepo

żą

dane w

czasie estymacji i powinni

ś

my si

ę

ich wystrzega

ć

.

Test przeprowadzamy w nast

ę

puj

ą

cy sposób:

- szacujemy model bez ogranicze

ń

(2) i obliczamy jego współczynnik determinacji, nazywaj

ą

c go

2

R

.

- szacujemy model z ograniczeniami (1) i obliczamy jego współczynnik determinacji, nazywaj

ą

c go

2

R

R

.

- wyznaczamy statystyk

ę

testow

ą

:

2

2

2

(

) /

~

( ,

(

))

(1

) /(

(

))

R

R

R

J

F

F J n

k

m

R

n

k

m

−

=

−

+

−

−

+

, gdzie J oznacza ilo

ść

restrykcji nało

ż

onych na model (1) (a wi

ę

c ilo

ść

zmiennych z macierzy Z – ilo

ść

zmiennych, które

chcemy pomin

ąć

), n jest ilo

ś

ci

ą

obserwacji, a (k+m) ilo

ś

ci

ą

zmiennych obja

ś

niaj

ą

cych modelu bez

ogranicze

ń

(2). Znaj

ą

c rozkład statystyki testowej, mo

ż

emy odczyta

ć

z tablic warto

ść

krytyczn

ą

i je

ś

li

kr

F

F

>

, to przyjmujemy hipotez

ę

alternatywn

ą

o prawdziwo

ś

ci modelu (2). Wynik testu cz

ę

sto

wygodniej jest odczyta

ć

z p-Value (cz

ę

sto podawanego przez pakiety ekonometryczne), które mówi

nam o prawdopodobie

ń

stwie popełnienia bł

ę

du przy odrzuceniu prawdziwej hipotezy zerowej.

Zadania

1.

Maj

ą

c dane :

'

1

0, 5

1,5

X y

−









= 











,

2, 25

8

4

8

2500

12

4

12

100

bb









Σ = 











oraz

2

4

σ

=

Oszacuj parametry modelu

1

2

2

3 3

i

i

i

y

b

b x

b x

=

+

+

Zapisz pełn

ą

posta

ć

modelu.

4

2.

Oszacuj parametry strukturalne oraz

ś

rednie bł

ę

dy ich szacunku dla modelu:

1

2

2

3 3

i

i

i

i

y

x

x

β

β

β

ε

=

+

+

+

Je

ż

eli wiadomo,

ż

e:

'

6

4

3

2

2

3

X X









= 















,

'

1

2

1

2

(

)

2

0

3

X X

−

−

−









= 











,

'

15

9

12

X y

 

 

=  

 

 

,

2

1

56

n

i

i

y

=

=

∑

a. Zinterpretuj odchylenie standardowe reszt oraz

ś

rednie bł

ę

dy szacunku.

b. Zweryfikuj które ze zmiennych obja

ś

niaj

ą

cych s

ą

w modelu istotne dla

0, 05

α

=

.

c. Podaj przedziały ufno

ś

ci dla parametrów

1

2

3

,

oraz

β β

β

na 5% poziomie istotno

ś

ci.

3.

Na podstawie kwartalnych danych z lat 1997-2000 otrzymano:

2

3

101 14

2,5

i

i

i

y

x

x

∧

=

+

+

Wiadomo,

ż

e:

104,1

19, 6

49,8

24,1

9

5,3

bb





−





Σ = −

















a.

Zweryfikuj istotno

ść

zmiennych na poziomie istotno

ś

ci 1%, 5% oraz 10%.

b.

Podaj przedziały ufno

ś

ci dla parametrów.

4.

Na podstawie danych:

y

x2

x3

10

0

0

11

4

2

12

1

1

10

0

1

8

0

1

oszacowano model:

2

3

10, 45 0, 75

i

i

i

y

x

x

∧

=

+

−

Oblicz i zinterpretuj

2

R

oraz oce

ń

czy równanie regresji jest istotne (czy zmienne obja

ś

niaj

ą

ce s

ą

ł

ą

cznie istotne) dla

0, 05

α

=

.

5.

Na podstawie 20 obserwacji oszacowano MNK parametry modelu i otrzymano:

2

3

0,13 0, 51

0, 29

i

i

i

y

x

x

∧

= −

+

+

Wiadomo równie

ż

,

ż

e ocena wariancji bł

ę

du losowego wynosi 0,45. Dodatkowo:

20

2

1

(

)

102,3

i

i

y

y

=

−

=

∑

oraz

'

1

1,39

0,13

0, 22

(

)

0, 06

0, 36

0,12

X X

−









= 











a.

Na poziomie istotno

ś

ci 5% zbadaj istotno

ść

zmiennych obja

ś

niaj

ą

cych modelu.

b.

Oblicz i zinterpretuj

2

R

c.

Zweryfikuj istotno

ść

równania regresji (ł

ą

czn

ą

istotno

ść

zmiennych obja

ś

niaj

ą

cych) dla

0, 05

α

=

.

6.

Na próbie licz

ą

cej 9 obserwacji oszacowano model:

1

2

2

3 3

i

i

i

i

y

x

x

β

β

β

ε

=

+

+

+

5

Otrzymano oszacowany model:

2

3

11, 2 283,5

33

i

i

i

y

x

x

∧

=

−

+

Dodatkowo:

'

1

0,57

1

2

(

)

21, 5

0

1, 43

X X

−

−

−









= 











oraz

'

0,5

3 0

2

1 5 1

1

e





= −

−

−

−





i

9

2

1

(

)

193,3

i

i

y

y

=

−

=

∑

a. Zweryfikowa

ć

hipotezy

0

2

:

0

H

β

= oraz

0

3

:

0

H

β

= na poziomie istotno

ś

ci 5%.

b. Obliczy

ć

oraz zinterpretowa

ć

współczynnik determinacji.

c. Zweryfikowa

ć

ł

ą

czn

ą

istotno

ść

zmiennych obja

ś

niaj

ą

cych (istotno

ść

równania regresji).

7.

Dla 35 obserwacji oszacowano nast

ę

puj

ą

cy model:

1

2

2

3 3

4

4

i

i

i

i

i

y

x

x

x

β

β

β

β

ε

=

+

+

+

+

i otrzymano:

2

3

4

(20,95)

(23,11)

(0,0024)

(6111)

56, 73 34, 22

0, 03

11089

i

i

i

i

y

x

x

x

= −

+

−

−

a. Które zmienne s

ą

w nim istotne dla

0, 05

α

=

?

b. Jakie s

ą

przedziały ufno

ś

ci dla estymatorów?

c. Zweryfikuj hipotez

ę

0

4

:

10000

H

β

= −

dla

0, 05

α

=

.

d. Zweryfikuj hipotez

ę

0

1

:

75

H

β

= −

dla

0, 05

α

=

.