Estymacja parametrów modelu regresji liniowej.

Naszym celem jest znalezienie na podstawie obserwacji "dobrych" oszacowań parametrów
w modelu regresji

,

,

..................................................................

,

Dokonamy tzw. estymacji parametrów modelu.

Znanych jest wiele różnych metod estymacji; my wykorzystamy najbardziej rozpowszechnioną wśród ekonometrów metodę najmniejszych kwadratów, w skrócie MNK. Estymatory otrzymywane tą metodą nazywamy estymatorami NK. Mają pożądane przez statystyków własności nieobciążoności i efektywności. Noszą one także nazwę najlepszych liniowych nieobciążonych estymatorów parametrów regresji (estymatory BLUE).

Estymatory NK będziemy oznaczać
:

estymator
oszacowuje (estymuje) parametr
,

estymator
oszacowuje (estymuje) parametr
,

estymator
oszacowuje (estymuje) parametr
,

................................................................................

estymator
oszacowuje (estymuje) parametr
.

Oszacowane równanie regresji jest postaci

,

a wielkości

,

,

........................................................

,

(w zapisie macierzowym:

,

gdzie

,

.)

nazywamy wartościami teoretycznymi (dopasowanymi) zmiennej y.

Zaobserwowane wartości zmiennej y można zapisać w postaci

,

,

..................................................................

,

(w zapisie macierzowym:

,

gdzie

.)

gdzie

,

zaobserwowaną resztą (błędem), czyli różnicą między wartością zaobserwowaną a wartością teoretyczną leżącą na "powierzchni" regresji.

Estymatory NK parametrów regresji są tak wyznaczone, że suma kwadratów reszt

jest najmniejsza wśród wszystkich możliwych sum kwadratów reszt obliczanych dla innych możliwych estymatorów parametrów regresji.

Do znalezienia estymatorów NK wykorzystuje się metody szukania minimów funkcji wielu zmiennych. Po odpowiednich obliczeniach otrzymuje się następujące wzory (w zapisie macierzowym):

• Dla wektora estymatorów NK parametrów regresji:

,

gdzie
oznaczają odpowiednio macierz transponowaną i macierz odwrotną do macierzy
.

Uwaga. W przedstawianym wykładzie zakładamy, ze rozważane macierze odwrotne istnieją. Nie będziemy szczegółowo dyskutować tego założenia i zastanawiać się co się będzie działo, gdy nie będzie ono spełnione.

• Dla wektora wartości teoretycznych:

.

• Dla wektora reszt:

.

Przykład Rozważmy następujące dane

-43,6	27	34
3,3	33	30
-12,4	27	33
7,6	24	11
11,4	31	16
5,9	40	30
-4,5	15	17
22,7	26	12
-14,4	22	21
-28,3	23	27

Stąd otrzymujemy

,

.

Obliczamy

,

i ostatecznie

.

Oszacowany związek regresyjny jest więc postaci

.

4

3

---