Szacowanie parametrów modeli liniowych

metodą najmniejszych kwadratów

1. Postać modelu liniowego o k zmiennych objaśniających:

Y_t = α₀ + α₁X_1t + α₂X_2t + α₃X_3t + ... + α_kX_kt + ξ_t.

2. Funkcja kryterium dopasowania modelu do danych empirycznych:

n

S(α₀, α₁, … α_k) = Σ [Y_t - (α₀ + α₁X_1t + α₂X_2t + α₃X_3t + ... + α_kX_kt)]².

ⁱ⁼¹

Funkcja S(α_i) osiąga minimum jeśli dla każdego i = 1, …, n, zachodzi:

dS/dα_i = 0.

Przykład

Yt	X1t	X2t	X3t	X4t		X1t*X1t	X2t*X2t	X3t*X3t	X4t*X4t
10	6	8	14	12		36	64	196	144
10	6	8	14	12		36	64	196	144
16	10	12	18	12		100	144	324	144
16	10	12	18	14		100	144	324	196
12	8	8	18	10		64	64	324	100
14	10	8	18	12		100	64	324	144
20	12	14	24	14		144	196	576	196
20	12	16	24	12		144	256	576	144
20	12	16	26	12		144	256	676	144
22	14	18	26	10		196	324	676	100
Σ						Σ
160	100	120	200	120		1064	1576	4192	1456

Yt*X1t	Yt*X2t	Yt*X3t	Yt*X4t	X1t*X2t		X1t*X3t		X1t*X4t		X2t*X3t		X2t*X4t		X3t*X4t
60	80	140	120		48		84		72		112		96		168
60	80	140	120		48		84		72		112		96		168
160	192	288	192		120		180		120		216		144		216
160	192	288	224		120		180		140		216		168		252
96	96	216	120		64		144		80		144		80		180
140	112	252	168		80		180		120		144		96		216
240	280	480	280		168		288		168		336		196		336
240	320	480	240		192		288		144		384		192		288
240	320	520	240		192		312		144		416		192		312
308	396	572	220		252		364		140		468		180		260
Σ					Σ
1704	2068	3376	1924		1284		2104		1200		2548		1440		2396

Warunek dS/dα_i = 0, prowadzi do definicji układu równań normalnych o współczynnikach:

								0	1	2	3		4
						1		10	100	120	200		120		160
						2		100	1064	1284	2104		1200		1704
						3		120	1284	1576	2548		1440		2068
						4		200	2104	2548	4192		2396		3376
						5		120	1200	1440	2396		1456		1924
	Wyznacznik macierzy głównej													4 446 720,00
								160	100	120	200		120	Wyznacznik macierzy uzupełnionej U0
								1704	1064	1284	2104		1200
		α 0	-3,98					2068	1284	1576	2548		1440	-17 694 720,00
								3376	2104	2548	4192		2396
								1924	1200	1440	2396		1456
								10	160	120	200		120	Wyznacznik macierzy uzupełnionej U1
								100	1704	1284	2104		1200
		α 1	0,862					120	2068	1576	2548		1440	3 834 880,00
								200	3376	2548	4192		2396
								120	1924	1440	2396		1456
								10	100	160	200		120	Wyznacznik macierzy uzupełnionej U2
								100	1064	1704	2104		1200
		α 2	0,371					120	1284	2068	2548		1440	1 648 640,00
								200	2104	3376	4192		2396
								120	1200	1924	2396		1456
								10	100	120	160		120	Wyznacznik macierzy uzupełnionej U3
								100	1064	1284	1704		1200
		α 3	0,17					120	1284	1576	2068		1440	755 200,00
								200	2104	2548	3376		2396
								120	1200	1440	1924		1456
								10	100	120	200		160	Wyznacznik macierzy uzupełnionej U4
								100	1064	1284	2104		1704
		α4	0,292					120	1284	1576	2548		2068	1 300 480,00
								200	2104	2548	4192		3376
								120	1200	1440	2396		1924
Wartości teoretyczne Y^T					Odchylenia pomiędzy wartościami empirycznymi i teoretycznymi (Y - Y^T)												Odchylenia od średniej /Y^śr = 16/
														(Y - Y^T)^2
1	10,05									-0,05				0,0023				-6			36		-5,95		35,42
2	10,05									-0,05				0,0023				-6			36		-5,95		35,42
3	15,66									0,34				0,1154				0			0		-0,34		0,115
4	16,25									-0,25				0,0601				0			0		0,25		0,06
5	11,87									0,132				0,0175				-4			16		-4,13		17,08
6	14,18									-0,18				0,0314				-2			4		-1,82		3,322
7	19,73									0,269				0,0726				4			16		3,73		13,92
8	19,89									0,113				0,0127				4			16		3,89		15,11
9	20,23									-0,23				0,0515				4			16		4,23		17,87
10	22,11									-0,11				0,0117				6			36		6,11		37,31
														Σ							Σ				Σ
														0,38							176				175,6
Współczynnik determinacji R^2										0,998
Współczynnik zbieżności φ^2				0,002
							Yt = -3,98 + 0,862X1t + 0,371X2t + 0,17X3t + 0,292X4t + et

---