Autor opracowania: Marek Walesiak
4. KLASYCZNY MODEL REGRESJI LINIOWEJ
JEDNEJ ZMIENNEJ OBJAŚNIAJ
CEJ
4.1. Założenia klasycznego modelu regresji liniowej jednej
zmiennej objaśniającej
4.2. Metoda estymacji:
A. Metoda najmniejszych kwadratów
B. Metoda momentów
4.3. Estymacja parametrów struktury stochastycznej
4.4. Interpretacja parametrów strukturalnych
4.5. Predykcja w modelu regresji prostej
4.6. Przykład  praca własna studenta
1
Autor opracowania: Marek Walesiak
4.1. ZAA
OŻENIA KLASYCZNEGO MODELU REGRESJI
LINIOWEJ JEDNEJ ZMIENNEJ OBJAŚNIAJ
CEJ
Liniowy model regresji jednej zmiennej objaśniającej:
Yt = b0 + b1Xt + �t (1)
gdzie: Y  zmienna objaśniana (regresant),
X  zmienna regresyjna (objaśniająca, regresor),
b0,b1  parametry strukturalne,
�  składnik losowy,
t = 1,K,T  numer obserwacji.
W zapisie macierzowym model ten przyjmuje postać:
y = Xb + �, (2)
gdzie:
1 X1
Ą# ń#
Y1 �1
Ą# ń# Ą# ń#
ó#1 X Ą#
b0
Ą# ń#
2
ó# Ą# ó# Ą#
ó# Ą#
y = M ;X = ; b = ; � = M .
ó#b Ą#
ó# Ą# ó# Ą#
M M
ó# Ą#
Ł# Ś#2�1
1
ó# Ą#T�1 ó# Ą#T�1
Ł#YT Ś# ó#1 XT Ą# Ł#�T Ś#
Ł# Ś#T�2
2
Autor opracowania: Marek Walesiak
Model regresji liniowej jednej zmiennej objaśniającej w ogól-
nej postaci:
Yt = ft (Xt ,�t ), (3)
wymaga spełnienia następujących założeń (zob. np. Welfe [2003],
s. 29-32):
1. Model jest niezmienniczy ze względu na obserwacje:
f1 = f2 = K = fT = f . Otrzymujemy zatem model o postaci:
Yt = f (Xt ,�t ). (4)
Jest to założenie o stabilności relacji występującej między ba-
danymi zjawiskami. Uchylając to założenie otrzymujemy m.in.
modele o zmiennych w czasie parametrach (np. modele segmen-
towe).
2. Postać analityczna modelu jest liniowa względem parame-
trów strukturalnych i zmiennej objaśniającej (zob. postać (1)).
Wiele funkcji nieliniowych można poprzez transformację li-
niową sprowadzić do postaci liniowej.
3
Autor opracowania: Marek Walesiak
3. Wartość oczekiwana (nadzieja matematyczna) składnika lo-
sowego jest równa zeru:
E(�) = 0 lub E(�t ) = 0 dla wszystkich t.
Uchylenie tego założenia oznacza, że np. MNK-estymatory są
obciążone.
4. Zmienna objaśniająca X jest nielosowa, tzn. jej wartości są
ustalone w powtarzalnych próbach (są ustalonymi liczbami rze-
czywistymi). Zatem:
E(Yt Xt ) = E(Yt )
Z tego założenia oraz założenia 3 wynika, że X i � są nieza-
leżne:
E(XT�) = XT E(�) = 0 lub cov(Xt ,�t ) = 0 dla wszystkich t.
5. Liczba obserwacji jest co najmniej równa liczbie szacowa-
nych parametrów (T e" 2) i Xt `" const.
Zatem macierz XT X jest nieosobliwa, istnieje więc dla niej
macierz odwrotna.
4
Autor opracowania: Marek Walesiak
2 2
6. Składnik losowy jest sferyczny: E(��T ) = � I (�  warian-
cja składnika losowego, I  macierz jednostkowa o wymiarach
T �T ).
Założenie to mówi, że:
2
a) E(�t�t ) = var(�t ) = � dla wszystkich t, co jest założeniem o
stałości wariancji (składnik losowy jest homoskedastyczny),
b) E(�t�q ) = cov(�t ,�q ) = 0 dla wszystkich t `" q
(t,q =1,K,T ), co jest założeniem o nieskorelowaniu składników
losowych (nie występuje autokorelacja składników losowych).
Niesferyczność składnika losowego oznacza utratę efektywno-
ści MNK-estymatora.
7. Składnik losowy � ma T-wymiarowy rozkład normalny
2 2
N(0,� I) lub �t : N(0,� ) dla wszystkich t.
Założenie to pozwala na weryfikację hipotez statystycznych i
konstrukcję przedziałów ufności. Odpowiednie statystyki mają
wtedy pożądane rozkłady (np. t-Studenta, F).
8. Informacje z próby są jedynymi, na podstawie których esty-
muje się parametry strukturalne modelu.
5
Autor opracowania: Marek Walesiak
4.2. METODY ESTYMACJI
A. METODA NAJMNIEJSZYCH KWADRATÓW
Do szacowania wartości parametrów równania (1) wykorzystu-
je się metodę najmniejszych kwadratów (MNK). Idea tej metody
polega na tym, że szuka się estymatora wektora b (oznaczanego
Ć
b) minimalizującego sumę kwadratów odchyleń wartości empi-
rycznych zmiennej zależnej od jej wartości teoretycznych wynika-
jących z modelu:
a) ujęcie algebraiczne
Funkcja regresji w populacji: Yt = b0 + b1Xt + �t
Ć Ć
Funkcja regresji w próbie: Yt = b0 + b1X + et
t
Parametry strukturalne b0, b1 zastępujemy w próbie ich oszaco-
Ć Ć
waniami b0, b1. Odpowiednikiem składnika losowego �t w próbie
Ć Ć
jest reszta modelu et : et = Yt -v
t = Yt - b0 - b1Xt
T T
2
Ć Ć
S =
"e = "(Y -v
t )2 ="(Y - b0 - b1Xt )2 min (5a)
t t t
t=1 t=1
6
Autor opracowania: Marek Walesiak
b) ujęcie macierzowe
Funkcja regresji w populacji: y = Xb + �
Ć
Funkcja regresji w próbie: y = Xb + e
Ć
e = y - w
= y - Xb  wektor reszt modelu
Ć Ć
S = eTe = (y - w
)T (y - w
) = (y - Xb)T (y - Xb) min (5b)
Y
Ć Ć
Ć2 Ć2
v
= b0 + b1X
2
v
= b0 + b1X
Y5
Y4
Y3
Y1
Y2
X5
X1 X2 X3 X4 X
7
Autor opracowania: Marek Walesiak
Y
Ć Ć
Ć2 Ć2
v
= b0 + b1X
2
v
= b0 + b1X
2
e5
e5
Y5
Y4
Y3
Y1
Y2
X5
X1 X2 X3 X4 X
Y
Ć Ć
Ć2 Ć2
v
= b0 + b1X
2
v
= b0 + b1X
X
8
Autor opracowania: Marek Walesiak
Ujęcie algebraiczne
T T
2
Ć Ć
S =
"e = "(Y - b0 - b1Xt )2 min
t t
t=1 t=1
Minimalizacja funkcji S wymaga wyznaczenia pochodnej
Ć Ć
funkcji S względem b0 i b1, a następnie przyrównania do zera:
T
�S
Ć Ć
= -2
"(Y - b0 - b1Xt ) = 0
t
Ć
�b0
t=1
T
�S
Ć Ć
= -2 Xt (Yt - b0 - b1Xt ) = 0
"
Ć
�b1
t=1
Po wykonaniu sumowania i uporządkowaniu otrzymujemy
układ równań normalnych:
T T
Ć Ć
Xt
"Y = Tb0 + b1"
t
t=1 t=1
T T T
Ć Ć
XtYt = b0 Xt + b1 Xt2
""
"
t=1 t=1 t=1
9
Autor opracowania: Marek Walesiak
Dzieląc pierwsze równanie przez T otrzymujemy:
Ć Ć
Y = b0 + b1X
Stąd
Ć Ć
b0 = Y - b1X
Linia regresji przechodzi więc przez punkt (X ,Y ).
T
Podstawiając do równania drugiego: Xt = TX oraz
"
t=1
Ć Ć
b0 = Y - b1X otrzymujemy:
T
XtYt -TXY
"
t=1
Ć
b1 =
T
2
Xt2 - TX
"
t=1
lub równoważny wzór
T
"(X - X )(Yt - Y )
t
t=1
Ć
b1 =
T
"(X - X )2
t
t=1
10
Autor opracowania: Marek Walesiak
Ujęcie macierzowe
Ć Ć
Minimalizacja funkcji S = eTe = (y - Xb)T (y - Xb) wymaga
Ć
wyznaczenia gradientu funkcji S względem wektora b.
Przed wyznaczeniem gradientu przeprowadzone zostaną prze-
kształcenia:
Ć Ć Ć
eT e = yT y - bT XT y - yT Xb + bT XT Xb
Z własności transpozycji wynika, że (AB)T = BT AT , więc
Ć Ć Ć
(yT Xb)T = (Xb)T y = bT XT y
Będziemy więc minimalizować następującą funkcję:
Ć Ć
S = eT e = yT y - 2yT Xb + bT XT Xb
Ć
Wyznaczamy gradient funkcji S względem b, a następnie przy-
równujemy do wektora zerowego o wymiarach (m +1) �1 (2 �1
dla modelu liniowego z jedną zmienną objaśniającą):
�S
Ć
= -2XT y + 2XT Xb = 0
Ć
�b
11
Autor opracowania: Marek Walesiak
Jeśli macierz odwrotna do XT X istnieje to rozwiązaniem jest
wektor:
Ć
b = (XT X)-1XT y (6)
Postać Hessianu otrzymujemy różniczkując gradient:
2
� S
= 2XT X
Ć
�b2
Macierz XT X jest dodatnio określona (każdy minor główny
macierz symetrycznej jest większy od zera), gdy X ma pełny rząd
kolumnowy. Z tego wynika, że rozwiązanie (6) minimalizuje su-
mę kwadratów odchyleń.
12
Autor opracowania: Marek Walesiak
B. METODA MOMENTÓW
(zob. Maddala [2006], s. 101-104)
Funkcja regresji w populacji: Yt = b0 + b1Xt + �t
Ć Ć
Funkcja regresji w próbie: Yt = b0 + b1X + et
t
Parametry strukturalne b0, b1 zastępujemy w próbie ich osza-
Ć Ć
cowaniami b0, b1. Odpowiednikiem składnika losowego �t w pró-
bie jest reszta modelu et :
Ć Ć
et = Yt - b0 - b1Xt
W metodzie momentów założenia dotyczące składnika loso-
wego w populacji zastępuje się ich odpowiednikami w próbie:
Założenia dotyczące populacji Odpowiedniki w próbie
T T
1
E(�t ) = 0
"e = 0 lub "e = 0
t t
T
t=1 t=1
T T
1
cov(X ,�t ) = 0 Xtet = 0 lub X et = 0
t " " t
T
t=1 t=1
13
Autor opracowania: Marek Walesiak
Otrzymujemy więc dwa równania:
T T
Ć Ć
czyli
"e = 0 "(Y - b0 - b1Xt ) = 0
t t
t=1 t=1
T T
Ć Ć
X et = 0 X (Yt - b0 - b1Xt ) = 0
czyli
" t " t
t=1 t=1
T
Ć0 Ć
Z uwagi na to, że
"b = Tb0 otrzymuje się następujący układ
t=1
równań normalnych:
T T
Ć Ć
X
"Y = Tb0 + b1" t
t
t=1 t=1
T T T
Ć Ć
X Yt = b0 X + b1 Xt
""
t " t
t=1 t=1 t=1
Ć Ć
Po rozwiązaniu tego układu otrzymujemy b0 i b1 (zob. s. 10).
14
Autor opracowania: Marek Walesiak
4.3. ESTYMACJA PARAMETRÓW STRUKTURY
STOCHASTYCZNEJ
A. Błędy średnie estymatorów i wariancja składnika losowego
Ujęcie macierzowe
Ć
Macierz wariancji-kowariancji MNK-estymatora var(b) wy-
znacza się ze wzoru:
Ć Ć Ć
var(b) = E[(b - b)(b - b)T] = E[(XT X)-1XT��T X(XT X)-1] =
2
(XT X)-1XT E[��T ]X(XT X)-1 = (XT X)-1XT� IX(XT X)-1 =
2 2
� (XT X)-1XT X(XT X)-1 = � (XT X)-1. (7)
2
Nieobciążonym estymatorem wariancji składnika losowego �
jest (zakładając, że wektor reszt e = y - w
stanowi najlepsze przy-
bliżenie wektora składników losowych � ):
eTe eTe
�Ć2 = = . (8)
T - (m +1) T - 2
Pierwiastki z elementów głównej przekątnej macierzy (7) sta-
nowią błędy estymatorów parametrów strukturalnych:
Ćj
S(b ) = �Ć d , (9)
jj
gdzie: d oznacza j-ty ( j = 0,1) diagonalny element macierzy
jj
(XT X)-1.
15
Autor opracowania: Marek Walesiak
Ujęcie algebraiczne
Błędy estymatorów parametrów strukturalnych
Ć Ć
S(bj ) = var(bj ) ,
�# ś#
ś# ź#
2
2
X
1 �
2
ś# ź#; var(b1) =
Ć Ć
gdzie: var(b0 ) = � +
T
ś#T T ź#
"(X - X )2 "(X - X )2
ś# t ź# t
�# t=1 # t=1
2
Nieobciążonym estymatorem wariancji składnika losowego �
jest:
T T
Ć
-
"(Y - Y )2 b1"(X - X )(Yt - Y )
t t
t=1 t=1
�Ć2 = . (10)
T - 2
16
Autor opracowania: Marek Walesiak
B. Przedziały ufności dla parametrów
Przedziały ufności dla parametrów strukturalnych bj ( j = 0,1)
oblicza się następująco (zob. np. Welfe [2003], s. 49; Gajda
[2004], s. 61-62):
Ć Ć Ć Ć
bj - t(ą 2,T -2)S(bj ) d" bj d" bj + t(ą 2,T -2)S(bj ), (11)
gdzie: tą 2,T -2  wartość krytyczna odczytana z rozkładu t-
Studenta dla poziomu istotności ą 2 i T - 2 stopni swobo-
dy,
Ć Ć Ć Ć
P{bj - t(ą 2,T -2)S(bj ) d" bj d" bj + t(ą 2,T -2)S(bj )}= 1-ą 
określony przedział z prawdopodobieństwem 1-ą pokry-
wa nieznaną wartość parametru bj,
1-ą  poziom ufności.
17
Autor opracowania: Marek Walesiak
C. Analiza wariancji w modelu regresji prostej
Do oceny statystycznej istotności rezultatów analizy regresji
oraz stopnia dopasowania modelu do danych empirycznych po-
mocna jest analiza wariancji.
Tablica ANOVA w modelu regresji prostej
Suma kwadratów Liczba stopni
y
ródło zmienności
odchyleń swobody
odchylenie regresyjne SSR m =1
T - (m +1) = T - 2
odchylenie resztowe SSE
odchylenie całkowite
SST = SSR + SSE
T -1
y
ródło: opracowanie własne.
Liczba stopni swobody:
SST T -1 (T  liczba obserwacji, ale tracimy jeden stopień
swobody, ponieważ średnia zmiennej Y w próbie jest określona),
SSR m =1 (jedna zmienna objaśniająca),
SSE T - (m +1) (liczba obserwacji T użyta do oszacowania
m + 1 = 2 stałych b0,b1).
SST = SSR + SSE
T T T
(12)
"(Y - Y )2 = "(v
- Y )2 + "(Y - v
)2 ,
t t t
t =1 t =1 t =1
gdzie: SSR  część wyjaśniona przez model,
SSE  część nie wyjaśniona przez model.
18
Autor opracowania: Marek Walesiak
Na podstawie tablicy ANOVA można bezpośrednio obliczyć
2
wartości współczynnika determinacji R2 (zbieżności � ), skory-
gowanego współczynnika determinacji i standardowego błędu
oceny �Ć:
SSR SSE
2
R2 = =1 - =1 - � (13)
SST SST
SSE [T -(m +1)] SSE (T - 2)
2
R =1- =1-
SST (T -1) SST (T -1)
T -1
=1 - (1 - R2 ) �" (14)
T - 2
SSE SSE
�Ć = = (15)
T - (m +1) T - 2
Standardowy błąd oceny �Ć pokazuje, o ile przeciętnie odchy-
lają się wartości empiryczne zmiennej objaśnianej od jej wartości
teoretycznych (wynikających ze zbudowanego modelu).
19
Autor opracowania: Marek Walesiak
Współczynnik determinacji R2 (dla modelu liniowego jednej
zmiennej objaśniającej z wyrazem wolnym):
 przyjmuje wartości z przedziału [0; 1];
 wskazuje jaka część zmienności zmiennej objaśnianej (zależ-
nej) została wyjaśniona przez zbudowany model;
2
�
2
Ć
 R2 = rXY = b12 X (rxy  współczynnik korelacji liniowej Pearso-
2
�Y
na między zmiennymi X ,Y ; � , �  odchylenie standardowe
x y
zmiennych odpowiednio X ,Y ).
Warunki stosowalności oraz prawidłowej interpretacji współ-
czynnika determinacji R2:
 dla modelu liniowego między zmienną objaśnianą i zmienną
objaśniającą,
 parametry muszą być estymowane MNK,
 w modelu występuje wyraz wolny (w przeciwnym przypadku
R2 "[-";1]).
Dla modelu liniowego bez wyrazu wolnego stosuje się jako
miarę dopasowania niescentrowany współczynnik determinacji:
eT e
2 2
RN = 1- , RN "[0;1].
T
2
"Y
t
t=1
20
Autor opracowania: Marek Walesiak
24
A 12 B
Y Y
10
22
8
20
6
4
18
2
0 16
0 5 10 15 20 25 0 2 4 6 8 10 12
X X
v
= 3,233+1,921X ; R2 = 0,921 v
= 19,567- 0,012 X ; R2 = 0,0003
(0,822) (0,133) (1,043) (0,168)
C
3
Y
2
1
0
-1
-2
-3
-3 -2 -1 0 1 2 3
X
v
= 0,136+ 0,006 X ; R2 = 0,00004
(0,100) (0,098)
Rys. A C. Dane empiryczne, regresja liniowa i R2
y
ródło: opracowanie własne na postawie: Greene [2003], s. 31; Welfe [2003], s. 42.
21
Autor opracowania: Marek Walesiak
4.4. INTERPRETACJA PARAMETRÓW
STRUKTURALNYCH
Ogólna postać klasycznego modelu regresji liniowej jednej
zmiennej objaśniającej w populacji:
E(Yt X ) = E(Yt ) = b0 + b1X
t t
Zapis ten oznacza, że (warunkowa) wartość oczekiwana (war-
tość średnia) zmiennej objaśnianej jest równa wartości funkcji,
której parametry są szacowane.
Parametr b1 mierzy zmianę oczekiwanej (średniej) wartości
zmiennej objaśnianej wywołaną jednostkową zmianą zmiennej ob-
jaśniającej X . Parametr b1 informuje więc o bezpośrednim efekcie
jednostkowej zmiany zmiennej objaśniającej.
Parametr b1 odpowiada pochodnej cząstkowej względem
zmiennej objaśniającej X :
�Y
= b1
�X
Parametr b0 oznacza zwykle początkowy poziom badanego
zjawiska (np. w analizie kosztów jest to poziom kosztów stałych).
22
Autor opracowania: Marek Walesiak
4.5. PREDYKCJA W MODELU REGRESJI PROSTEJ
Maddala [2006] s. 121-125
Predykcja konkretnej wartości Y0
Ć Ć
Oszacowane równanie regresji prostej v
= b0 + b1X stosuje się
w celu wyznaczenia prognozy dla zmiennej Y dla danych wartości
X.
Niech X oznacza ustaloną wartość X. Prognozę wartości Y0
0
oblicza się na podstawie równania (v
0  prognoza):
Ć Ć
v
0 = b0 + b1X0 (16)
Jeśli wartości X leżą wewnątrz zakresu zaobserwowanych w
0
próbie wartości X otrzymujemy predykcję wewnątrz próby, a je-
żeli poza  to predykcję poza próbę.
Prawdziwa wartość Y0 jest równa:
Y0 = b0 + b1X + �0
0
Błąd predykcji jest równy:
Ć Ć
v
0 -Y0 = (b0 - b0 ) + (b1 - b1)X -�0
0
Prognoza wyznaczona na podstawie równania (16) jest nieob-
Ć Ć
ciążona E(v
0 -Y0 ) = 0, ponieważ: E(b0 - b0 ) = 0, E(b1 - b1) = 0
oraz E(�0 ) = 0.
23
Autor opracowania: Marek Walesiak
Wariancja błędu predykcji jest równa:
Ą# ń#
ó#
1 (X - X )2 Ą#
2
0
var(v
0 -Y0 ) = � ó#1+ + Ą# (17)
T
T
ó#
"(X - X )2 Ą#
t
ó# Ą#
Ł# t=1 Ś#
2
Jeśli � zastąpimy w próbie oszacowaniem �Ć2 i obliczymy
pierwiastek z wariancji (17), to otrzymamy wzór na błąd średni
(standardowy) predykcji SE(v
).
Wariancja rośnie wraz oddalaniem się X od wartości X
0
(średniej z obserwacji, na podstawie których oszacowano model).
Predykcja wartości oczekiwanej E(Y0 )
Mając dane X jesteśmy często zainteresowani predykcją nie
0
Y0, ale E(Y0 ) .
Z uwagi na to, że E(Y0 ) = b0 + b1X prognozujemy tę wartość
Ć Ć
jako Ę(Y0 ) = b0 + b1X . Jest to wartość identyczna z v
0. Prognoza
jest więc taka sama niezależnie od tego, czy prognozujemy Y0 czy
E(Y0 ).
Wariancja i błąd średni predykcji będą jednak mniejsze:
Ą# ń#
ó#1 (X 0 - X )2 Ą#
2
var[Ę(Y0 ) - E(Y0 )]= � ó# + Ą# (18)
T
ó#T
"(X - X )2 Ą#
t
ó# Ą#
Ł# t=1 Ś#
24
Autor opracowania: Marek Walesiak
Przedziały ufności dla prognozy oblicza się następująco
v
0 - t(ą 2,T -2)SE(v
) d" Y0 d" v
0 + t(ą 2,T -2)SE(v
), (19)
gdzie: tą 2,T -2  wartość krytyczna odczytana z rozkładu t-
Studenta dla poziomu istotności ą 2 i T - 2 stopni swobo-
dy,
P{v
0 - t(ą 2,T -2)SE(v
) d" Y0 d" v
0 + t(ą 2,T -2)SE(v
)}=1 - ą 
określony przedział z prawdopodobieństwem 1-ą pokry-
wa prawdziwą wartość Y0,
1-ą  poziom ufności,
SE(v
)  błąd średni predykcji.
25
Autor opracowania: Marek Walesiak
4.6. PRZYKA
AD  PRACA WA
ASNA STUDENTA
Na podstawie danych statystycznych:
t Yt X
t
1 1 0
2 2 1
3 3 1
4 4 2
oszacować parametry strukturalne i parametry struktury stocha-
stycznej dla modelu:
Yt = b0 + b1X + �t
t
Ć
b = (XT X)-1XT y
1
Ą# ń#
ó#2Ą#
ó# Ą#
y =  wektor obserwacji na zmiennej objaśnianej,
3
ó# Ą#
ó#4Ą#
Ł# Ś#
1 0
Ą# ń#
ó#1 1Ą#
 macierz obserwacji na zmiennych
ó# Ą#
X =
1 1
ó# Ą#
objaśniających,
ó#1 2Ą#
Ł# Ś#
Ć
Ą# ń#
b0
Ć
b =
ó# Ą#
Ć1  wektor estymatorów parametrów strukturalnych.
Ł#b Ś#
26
Autor opracowania: Marek Walesiak
1 0
Ą# ń#
ó#1 1Ą# Ą#4 4ń#
1 1 1 1
Ą# ń#
XT X =
ó#0 1 1 2Ą# �" ó#1 1Ą# = ó#4 6Ą#
ó# Ą#
Ł# Ś# Ł# Ś#
ó#1 2Ą#
Ł# Ś#
1
Ą# ń#
ó#2Ą#
1 1 1 1 10
Ą# ń# Ą# ń#
XT y =
ó#0 1 1 2Ą# �" ó#3Ą# = ó#13Ą#
ó# Ą#
Ł# Ś# Ł# Ś#
ó#4Ą#
Ł# Ś#
1
A-1 = ATd  wzór na wyznaczenie macierzy odwrotnej
det A
1
(XT X)-1 = (XT X)d , gdzie d  dopełnienie
det(XT X)
dij = (-1)i+ j (XT X)ij , gdzie (XT X)ij  macierz po usunięciu i-tego
wiersza i j-tej kolumny.
d11 d12
Ą# ń#
(XT X)d = D = ,
ó#d d22 Ą#
Ł# 21 Ś#
27
Autor opracowania: Marek Walesiak
D  macierz symetryczna (dij = d ).
ji
d11 = (-1)1+1 �" 6 = 6; d12 = d21 = (-1)1+2 �" 4 = -4;
d22 = (-1)2+2 �" 4 = 4.
6 - 4
Ą# ń#
(XT X)d = D =
ó#
Ł#- 4 4Ą#
Ś#
det(XT X) = 4 �" 6 - 4 �" 4 = 24 -16 = 8
6 - 4
1 1 Ą# ń#
(XT X)-1 = (XT X)d = �"
ó#
det(XT X) 8 4 4Ą#
Ł#- Ś#
6 - 4 10 1
1 Ą# ń# Ą# ń# Ą# ń#
Ć
b = (XT X)-1XTy = �" �" =
ó#
8 4 4Ą# ó#13Ą# ó#1,5Ą#
Ł#- Ś# Ł# Ś# Ł# Ś#
v
t =1 + 1,5Xt
28
Autor opracowania: Marek Walesiak
Parametry struktury stochastycznej
Tablica ANOVA w przypadku regresji prostej
y
ródło Suma kwadratów
Liczba stopni swobody
zmienności odchyleń
T
odchylenie
SSR =
m =1
"(v
-Y )2 = 4,5
t
regresyjne
t=1
T
odchylenie
SSE =
"(Y -v
)2 = 0,5 T - (m +1) = 4 - 2 = 2
t
resztowe
t=1
SST = SSR + SSE
odchylenie T
T -1 = 4 -1 = 3
SST =
całkowite
"(Y - Y )2 = 5
t
t=1
Yt Yt -Y
t v
t et = Yt - v
t v
t - Y
1 1 1 0  1,5  1,5
2 2 2,5  0,5  0,5 0
3 3 2,5 0,5 0,5 0
4 4 4 0 1,5 1,5
T T T
Y = 2,5
"e = 0 "(v
-Y )2 = 5 "(v
- Y )2 = 4,5
t t t
t=1 t=1 t=1
T
2
"e = 0,50
t
t=1
v
1 =1 + 1,5 �" 0 =1 v
3 =1 + 1,5 �"1 = 2,5
v
2 =1 + 1,5 �"1 = 2,5 v
4 =1 + 1,5 �" 2 = 4
29
Autor opracowania: Marek Walesiak
Lp. Parametr struktury stochastycznej
SSR SSE 4,5 0,5
2
R2 = =1- =1-� = =1- =1- 0,1 = 0,9
1
SST SST 5 5
SSE (T - 2) 0,5/ 2
2
R =1 - =1 - = 0,85
2
SST (T -1) 5/3
SSE 0,5
2
� = = = 0,1
3
SST 5
SSE 0,5
�Ć = = = 0,25 = 0,5
4
T - (m + 1) 4 - 2
eTe eTe 0,5
�Ć2 = = = = 0,25
5
T - (m +1) T - 2 4 - 2
30
Autor opracowania: Marek Walesiak
Pierwiastki z elementów głównej przekątnej macierzy
2
Ć
var(b) = � (XT X)-1 stanowią błędy estymatorów parametrów
strukturalnych.
Ć Ć Ć
Ą# ń#
var(b0 ) cov(b0,b1)
2
Ć
var(b) = � (XT X)-1 =
ó# Ą#
Ć Ć Ć
,b0 ) var(b1)Ś#
Ł#cov(b1
6 - 4
1 Ą# ń#
Ć
var(b) = �Ć2 (XT X)-1 = 0,25�" �"
ó#
8 4 4Ą#
Ł#- Ś#
0,1875 - 0,125
Ą# ń#
Ć
var(b) =
ó#
Ł#- 0,125 0,125Ą#
Ś#
Ć
S(b0 ) = 0,1875 = 0,433
Ć
S(b1) = 0,125 = 0,354
v
t = 1,0 + 1,5 Xt
(0,433) (0,354)
31
Autor opracowania: Marek Walesiak
v
t = 1,0 + 1,5 Xt
(0,433) (0,354)
Interpretacja parametrów strukturalnych
Ć
b1 =1,5  wzrost (spadek) wartości zmiennej objaśniającej X o
jednostkę spowoduje wzrost (spadek) wartości zmiennej objaśnia-
nej średnio o 1,5 jednostki,
Ć
b0 =1 (wyraz wolny)  oznacza zwykle początkowy poziom
badanego zjawiska. W analizie kosztów oznacza poziom kosztów
stałych. Niekiedy wyraz wolny nie ma interpretacji ekonomicznej.
32