Wykład 3
1. MNK lub KMNK (Klasyczna metoda najmniejszych kwadratów) - założenia i własności
2. Estymacja (szacowanie) parametrów strukturalnych modelu liniowego:
klasyczną metodą najmniejszych kwadratów założenia i własności parametrów szacowanych MNK
3. Reszty modelu, wariancja reszt
4. Macierz wariancji i kowariancji parametrów strukturalnych
. Wyznaczanie wariancji dla parametrów strukturalnych oraz standardowych błędów (odchyleń standardowych) dla parametrów strukturalnych
.
Model liniowy ma postać:
, lub
(gdzie
są to reszty
)
Parametry a wyznacza się MNK (Metodą Najmniejszych Kwadratów)według wzoru:
a =
Wektor szacowanych parametrów strukturalnych a nazywa się wektorem ( estymatorem) parametrów strukturalnych
Założenia dla zastosowania MNK
1. Postać modelu jest liniowa względem parametrów
- Modele liniowe
- Modele nieliniowe
- Modele nieliniowe względem zmiennych
- Modele nieliniowe względem parametrów
2. Zmienne są wolne od współliniowości: Będzie tak wtedy, gdy żadna para zmiennych (X
)
Nie będzie kombinacją liniową drugiej zmiennej (gdy np. współczynnik korelacji wynosi 1 lub -1).
Np. cecha X2 jest kombinacją liniową X1 jeśli zostaje skonstruowana na podstawie X1 przekształconej dowolną funkcją liniową, np
; gdzie a, b dowolne wartości
lub np.
, albo
albo
We wszystkich powyższych przypadkach współczynnik korelacji
3. W macierzy danych X liczba cech m musi być mniejsza niż liczba obserwacji n (liczba wierszy n musi być większa niż liczba kolumn m w macierzy danych X
)
Własności parametrów modelu gdzie parametry a są wyznaczane (szacowane) MNK
1.
;
reszty modelu (składnik losowy).
Zatem
, co oznacza, że jeśli zostaną parametry oszacowane MNK to suma kwadratów reszt będzie najmniejsza.
2. Wartość oczekiwana wektora reszt (składnika losowego) jest równa zeru, czyli
, to oznacza, że średnia arytm. reszt w modeli równa jest zeru
- reszty modelu (składnik losowy);
,
3. Składnik losowy
nie jest skorelowany ze zmiennymi objaśniającymi, czyli współczynnik korelacji między resztami z modelu oraz dowolną zmienną objaśniającą wynosi zero,
Wariancja reszt - wariancja składnika losowego
ponieważ średnia reszt równa jest zeru
, to
.
Gdzie n liczba wierszy , oraz m liczba zmiennych objaśniających (k liczba szacowanych parametrów w modelu razem z parametrem
. Np. jeśli model będzie zawierał trzy zmienne objaśniające to k=4 (parametry)oraz 10 wierszy (n=10 obserwacji) i będzie typu:
, to
Cwiczenia 3: Na podstawie poniższych danych skonstruować następujący model
=
.
Y |
X |
Z |
T |
2 |
8 |
8 |
10 |
0 |
10 |
2 |
20 |
1 |
9 |
5 |
25 |
2 |
9 |
6 |
30 |
2 |
8 |
4 |
15 |
czyli:
- wyznaczyć (oszacować) następujące parametry strukturalne modelu
, które są elementami wektora - macierzy a,
a= |
Wektor a zawiera wartości szacowanych parametrów strukturalnych i jest macierzą jednokolumnową.
Parametry
a =
|
- utworzyć wartości
(wartości teoretyczne z modelu dla zmiennej zależnej Y),
- obliczyć współczynnik korelacji
, reszty z modelu
oraz standardowy błąd resztowy
oraz standardowe błędy szacowanych parametrów strukturalnych
.
Ad 2 Parametry a wyznaczamy ze wzoru: a =
na podstawie następujących macierzy
|
|
|
|
X |
Z |
T |
|
|
|
|
|
|
|||||
|
2 |
|
1 |
8 |
8 |
10 |
|
1 |
1 |
1 |
1 |
1 |
|||||
|
0 |
|
1 |
10 |
2 |
20 |
|
8 |
10 |
9 |
9 |
8 |
|||||
Y = |
1 |
X= |
1 |
9 |
5 |
25 |
XT= |
8 |
2 |
5 |
6 |
4 |
|||||
|
2 |
|
1 |
9 |
6 |
30 |
|
10 |
20 |
25 |
30 |
15 |
|||||
|
2 |
|
1 |
8 |
4 |
15 |
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
XT Y |
|
a |
||||
|
5 |
44 |
25 |
100 |
|
82,01745 |
-8,8 |
-2,20431 |
0,313142 |
|
7 |
|
9,37577 |
||||
XTX= |
44 |
390 |
215 |
895 |
(XTX)-1= |
-8,75667 |
0,98 |
0,210472 |
-0,0462 |
|
59 |
|
-1,05544 |
||||
|
25 |
215 |
145 |
485 |
|
-2,20431 |
0,21 |
0,097536 |
-0,00678 |
|
41 |
|
0,071869 |
||||
|
100 |
895 |
485 |
2250 |
|
0,313142 |
-0 |
-0,00678 |
0,006366 |
|
135 |
|
0,047639 |
Wyznaczanie
, reszt oraz wariancji i odchylenia standar. Reszt (czyli błędu resztowego)
|
|
|
Y |
|
|
|
|
1,983573 |
|
2 |
1,983573 |
0,016427 |
0,00027 |
|
-0,08214 |
|
0 |
-0,08214 |
0,08214 |
0,006747 |
|
1,427105 |
|
1 |
1,427105 |
-0,42711 |
0,182419 |
|
1,737166 |
|
2 |
1,737166 |
0,262834 |
0,069082 |
|
1,934292 |
|
2 |
1,934292 |
0,065708 |
0,004318 |
|
|
|
|
|
4E-06 |
0,262835 |
;
- współczynnik korelacji wielorakiej można wyznaczyć jako
= 0,958052
Macierz wariancji i kowariancji
(estymator macierzy wariancji i kowariancji) parametrów strukturalnych.
=
(Mnożenie liczby przez macierz polega na pomnożeniu wszystkich elementów tej macierzy przez liczbę).
Wariancja i odchylenie standardowe (ocen) szacowanych parametrów strukturalnych:
i
Wariancje (ocen) parametrów strukturalnych
są elementami znajdującymi się na głównej przekątnej macierzy
- wariancje szacowanych parametrów strukturalnych
- odchylenia standardowe szacowanych parametrów strukturalnych - czyli błędy (ocen) parametrów strukturalnych wyznacza się ze wzoru:
,
Współczynnik korelacji wielorakiej
oraz współczynnik determinacji
(
, gdzie
- współczynnik korelacji wielorakiej)
lub
należy wyznaczyć wartości
i obliczyć współczynnik korelacji wielorakiej
Macierz D2 macierz wariancji i kowariancji dla parametrów strukturalnych
|
Macierz D2= |
|
|
|
|||
|
21,55695 |
-2,30155 |
-0,57937 |
0,082304 |
|
21,55695 |
4,642946 |
D2= |
-2,30155 |
0,257707 |
0,055319 |
-0,01214 |
|
0,257707 |
0,507648 |
|
-0,57937 |
0,055319 |
0,025636 |
-0,00178 |
|
0,025636 |
0,160112 |
|
0,082304 |
-0,01214 |
-0,00178 |
0,001673 |
|
0,001673 |
0,040903 |
Błędy (ocen) param. strukturalnych (inaczej standardowe błędy param. strukturalnych) wynoszą:
=0,507648;
=0,160112;
= 0,040903 - są to pierwiastki z wariancji param. strukturalnych. Wariancje parametrów strukturalnych znajdują się na głównej przekątnej macierzy D2 (macierzy wariancji i kowariancji parametrów strukturalnych)
Przykład 2.
Y |
|
|
X |
Z |
T |
|
|
|
1,5 |
|
1 |
12 |
5 |
20 |
|
1,234843 |
0,070308 |
0 |
|
1 |
11 |
13 |
29 |
|
-0,06078 |
0,003695 |
5 |
|
1 |
8 |
2 |
28 |
|
4,287747 |
0,507305 |
2 |
X = |
1 |
10 |
6 |
30 |
|
3,24947 |
1,561175 |
3 |
|
1 |
12 |
5 |
26 |
|
2,849471 |
0,022659 |
4 |
|
1 |
10 |
4 |
31 |
|
4,419737 |
0,176179 |
6 |
|
1 |
9 |
7 |
41 |
|
5,646121 |
0,125231 |
1 |
|
1 |
17 |
19 |
40 |
|
0,873396 |
0,016029 |
|
|
|
|
|
|
2,48258 |
;
= 0,620645
Dla przykładu 2 wyznaczanie parametrów strukturalnych według wzoru a=
|
|
|
|
|
|
|
a |
|||
8 |
89 |
61 |
245 |
|
11,13055 |
-0,72075 |
0,375138 |
-0,1909 |
22,5 |
-3,24938 |
89 |
1043 |
765 |
2754 |
|
-0,72075 |
0,064513 |
-0,03044 |
0,0077 |
225 |
0,112919 |
61 |
765 |
685 |
2014 |
|
0,375138 |
-0,03044 |
0,020718 |
-0,0064 |
121,5 |
-0,45058 |
245 |
2754 |
2014 |
7843 |
|
-0,19094 |
0,007677 |
-0,00635 |
0,005 |
718 |
0,269105 |
W tym przykładzie dla przyjętego poziomu istotności =0,02 jest istotny
oraz zmienne Z i T. Zmienną X należy usunąć z modelu ponieważ parametr stojący przy niej jest nieistotny
Wynik obliczeń z funkcji Excela Regresja
PODSUMOWANIE - WYJŚCIE |
|
|
|
|
|||
Statystyki regresji |
|
|
|
|
|
||
Wielokrotność R |
0,957685 |
|
|
|
|
|
|
R kwadrat |
0,917161 |
|
|
|
|
|
|
Dopasowany R kwadrat |
0,855032 |
|
|
|
|
|
|
Błąd standardowy |
0,78781 |
|
|||||
Obserwacje |
8 |
|
|||||
ANALIZA WARIANCJI |
|
|
|
|
|||
|
df |
SS |
MS |
F |
Istotność F |
|
|
Regresja |
3 |
27,48617 |
9,162057 |
14,76215 |
0,012506 |
|
|
Resztkowy |
4 |
2,48258 |
0,620645 |
|
|
|
|
Razem |
7 |
29,96875 |
|
|
|
|
|
|
Współczynniki |
Błąd standardowy |
t Stat |
Wartość-p |
Dolne 95% |
Górne 95% |
|
Przecięcie |
-3,24938 |
2,62833 |
-1,23629 |
0,283984 |
-10,5468 |
4,048037 |
|
Zmienna X 1 |
0,112919 |
0,200099 |
0,564319 |
0,602678 |
-0,44264 |
0,668482 |
|
Zmienna X 2 |
-0,45058 |
0,113397 |
-3,9735 |
0,01649 |
-0,76542 |
-0,13574 |
|
Zmienna X 3 |
0,269105 |
0,055858 |
4,817619 |
0,008538 |
0,114017 |
0,424193 |
2