Wykład 3

1.       MNK lub KMNK (Klasyczna metoda najmniejszych kwadratów) - założenia i własności

2.       Estymacja (szacowanie) parametrów strukturalnych modelu liniowego:
klasyczną metodą najmniejszych kwadratów założenia i  własności parametrów szacowanych MNK

3.       Reszty modelu, wariancja reszt

4.       Macierz wariancji i kowariancji parametrów strukturalnych
. Wyznaczanie  wariancji dla parametrów strukturalnych oraz standardowych błędów (odchyleń standardowych) dla parametrów strukturalnych
.

Model liniowy ma postać:

, lub
(gdzie
są to reszty
)

Parametry a wyznacza się MNK (Metodą Najmniejszych Kwadratów)według wzoru:

a =

Wektor szacowanych parametrów strukturalnych a nazywa się wektorem ( estymatorem) parametrów strukturalnych

Założenia dla zastosowania MNK

1. Postać modelu jest liniowa względem parametrów

- Modele liniowe

- Modele nieliniowe

- Modele nieliniowe względem zmiennych

- Modele nieliniowe względem parametrów

2. Zmienne są wolne od współliniowości: Będzie tak wtedy, gdy żadna para zmiennych (X
)

Nie będzie kombinacją liniową drugiej zmiennej (gdy np. współczynnik korelacji wynosi 1 lub -1).

Np. cecha X₂ jest kombinacją liniową X₁ jeśli zostaje skonstruowana na podstawie X₁ przekształconej dowolną funkcją liniową, np
; gdzie a, b dowolne wartości

lub np.
, albo
albo

We wszystkich powyższych przypadkach współczynnik korelacji

3. W macierzy danych X liczba cech m musi być mniejsza niż liczba obserwacji n (liczba wierszy n musi być większa niż liczba kolumn m w macierzy danych X
)

Własności parametrów modelu gdzie parametry a są wyznaczane (szacowane) MNK

1.
;
reszty modelu (składnik losowy).

Zatem
, co oznacza, że jeśli zostaną parametry oszacowane MNK to suma kwadratów reszt będzie najmniejsza.

2. Wartość oczekiwana wektora reszt (składnika losowego) jest równa zeru, czyli
, to oznacza, że średnia arytm. reszt w modeli równa jest zeru

- reszty modelu (składnik losowy);
,

3. Składnik losowy
nie jest skorelowany ze zmiennymi objaśniającymi, czyli współczynnik korelacji między resztami z modelu oraz dowolną zmienną objaśniającą wynosi zero,

Wariancja reszt - wariancja składnika losowego

ponieważ średnia reszt równa jest zeru
, to
.

Gdzie n liczba wierszy , oraz m liczba zmiennych objaśniających (k liczba szacowanych parametrów w modelu razem z parametrem
. Np. jeśli model będzie zawierał trzy zmienne objaśniające to k=4 (parametry)oraz 10 wierszy (n=10 obserwacji) i będzie typu:

, to

Cwiczenia 3: Na podstawie poniższych danych skonstruować następujący model
=
.

Y	X	Z	T
2	8	8	10
0	10	2	20
1	9	5	25
2	9	6	30
2	8	4	15

czyli:

- wyznaczyć (oszacować) następujące parametry strukturalne modelu
, które są elementami wektora - macierzy a,

a=	Wektor a zawiera wartości szacowanych parametrów strukturalnych i jest macierzą jednokolumnową. Parametry (wartości w macierzy a) wyznacza się macierzowo KMNK według wzoru: a =

- utworzyć wartości
(wartości teoretyczne z modelu dla zmiennej zależnej Y),

- obliczyć współczynnik korelacji
, reszty z modelu
oraz standardowy błąd resztowy
oraz standardowe błędy szacowanych parametrów strukturalnych
.

Ad 2 Parametry a wyznaczamy ze wzoru: a =
na podstawie następujących macierzy

				X	Z	T
	2		1	8	8	10		1	1				1	1	1
	0		1	10	2	20		8	10				9	9	8
Y =	1	X=	1	9	5	25	X^T=	8	2				5	6	4
	2		1	9	6	30		10	20				25	30	15
	2		1	8	4	15
															X^T Y		a
	5	44	25	100		82,01745	-8,8	-2,20431			0,313142				7		9,37577
X^TX=	44	390	215	895	(X^TX)^-1=	-8,75667	0,98	0,210472			-0,0462				59		-1,05544
	25	215	145	485		-2,20431	0,21	0,097536			-0,00678				41		0,071869
	100	895	485	2250		0,313142	-0	-0,00678			0,006366				135		0,047639

Wyznaczanie
, reszt oraz wariancji i odchylenia standar. Reszt (czyli błędu resztowego)

			Y		=Y-
	1,983573		2	1,983573	0,016427	0,00027
	-0,08214		0	-0,08214	0,08214	0,006747
X a	1,427105		1	1,427105	-0,42711	0,182419
	1,737166		2	1,737166	0,262834	0,069082
	1,934292		2	1,934292	0,065708	0,004318
					4E-06	0,262835

;

- współczynnik korelacji wielorakiej można wyznaczyć jako
= 0,958052

Macierz wariancji i kowariancji
(estymator macierzy wariancji i kowariancji) parametrów strukturalnych.

=

(Mnożenie liczby przez macierz polega na pomnożeniu wszystkich elementów tej macierzy przez liczbę).

Wariancja i odchylenie standardowe (ocen) szacowanych parametrów strukturalnych:
i

Wariancje (ocen) parametrów strukturalnych
są elementami znajdującymi się na głównej przekątnej macierzy

- wariancje szacowanych parametrów strukturalnych

- odchylenia standardowe szacowanych parametrów strukturalnych - czyli błędy (ocen) parametrów strukturalnych wyznacza się ze wzoru:

,

Współczynnik korelacji wielorakiej
oraz współczynnik determinacji

(
, gdzie

- współczynnik korelacji wielorakiej)

lub
należy wyznaczyć wartości
i obliczyć współczynnik korelacji wielorakiej

Macierz D² macierz wariancji i kowariancji dla parametrów strukturalnych

	Macierz D^2= (X^T*X)^-1
	21,55695	-2,30155	-0,57937	0,082304		21,55695	4,642946
D^2=	-2,30155	0,257707	0,055319	-0,01214		0,257707	0,507648
	-0,57937	0,055319	0,025636	-0,00178		0,025636	0,160112
	0,082304	-0,01214	-0,00178	0,001673		0,001673	0,040903

Błędy (ocen) param. strukturalnych (inaczej standardowe błędy param. strukturalnych) wynoszą:
=0,507648;
=0,160112;
= 0,040903 - są to pierwiastki z wariancji param. strukturalnych. Wariancje parametrów strukturalnych znajdują się na głównej przekątnej macierzy D² (macierzy wariancji i kowariancji parametrów strukturalnych)

Przykład 2.

Y			X	Z	T
1,5		1	12	5	20		1,234843	0,070308
0		1	11	13	29		-0,06078	0,003695
5		1	8	2	28		4,287747	0,507305
2	X =	1	10	6	30		3,24947	1,561175
3		1	12	5	26		2,849471	0,022659
4		1	10	4	31		4,419737	0,176179
6		1	9	7	41		5,646121	0,125231
1		1	17	19	40		0,873396	0,016029
			=0,957685					2,48258

;
= 0,620645

Dla przykładu 2 wyznaczanie parametrów strukturalnych według wzoru a=

										a
8	89	61	245		11,13055	-0,72075	0,375138	-0,1909	22,5	-3,24938
89	1043	765	2754		-0,72075	0,064513	-0,03044	0,0077	225	0,112919
61	765	685	2014		0,375138	-0,03044	0,020718	-0,0064	121,5	-0,45058
245	2754	2014	7843		-0,19094	0,007677	-0,00635	0,005	718	0,269105

W tym przykładzie dla przyjętego poziomu istotności =0,02 jest istotny
oraz zmienne Z i T. Zmienną X należy usunąć z modelu ponieważ parametr stojący przy niej jest nieistotny

Wynik obliczeń z funkcji Excela Regresja

PODSUMOWANIE - WYJŚCIE
Statystyki regresji
Wielokrotność R	0,957685
R kwadrat	0,917161
Dopasowany R kwadrat	0,855032
Błąd standardowy	0,78781	; = 0,620645
Obserwacje	8
ANALIZA WARIANCJI
	df	SS	MS	F	Istotność F
Regresja	3	27,48617	9,162057	14,76215	0,012506
Resztkowy	4	2,48258	0,620645
Razem	7	29,96875
	Współczynniki	Błąd standardowy	t Stat	Wartość-p	Dolne 95%		Górne 95%
Przecięcie	-3,24938	2,62833	-1,23629	0,283984	-10,5468		4,048037
Zmienna X 1	0,112919	0,200099	0,564319	0,602678	-0,44264		0,668482
Zmienna X 2	-0,45058	0,113397	-3,9735	0,01649	-0,76542		-0,13574
Zmienna X 3	0,269105	0,055858	4,817619	0,008538	0,114017		0,424193

2

---