Autor opracowania: Marek Walesiak
4. KLASYCZNY MODEL REGRESJI LINIOWEJ
4.1. Założenia klasycznego modelu regresji liniowej
4.2. Estymacja parametrów metodą najmniejszych kwadratów i największej wiarygodności
4.3. Estymacja parametrów struktury stochastycznej modelu regresji liniowej
4.4. Interpretacja parametrów strukturalnych modelu regresji liniowej
4.5. Weryfikacja i diagnostyka modelu regresji liniowej
4.6. Przykład  praca własna studenta
1
Autor opracowania: Marek Walesiak
4.1. Założenia klasycznego modelu regresji liniowej
Liniowy model regresji wielu zmiennych przedstawia się za pomocą równania:
m
Yt =� b0 X +� b1 X1t +�K�+� bm X +� et =� b X +� et , (4.1)
0t mt �� j jt
j=�0
gdzie: Y  zmienna objaśniana (regresant),
X , X1,K�, X  zmienne regresyjne (objaśniające),
0 m
b0 ,b1,K�, bm  parametry strukturalne,
e  składnik losowy,
t =�1,K�,T  numer obserwacji,
j =� 0, 1,K�, m  numer zmiennej objaśniającej.
Obserwacje na zmiennej X są równe jedności, zatem b0 w równaniu (4.1) jest wyrazem wol-
0t
nym.
2
Autor opracowania: Marek Walesiak
W zapisie macierzowym model ten przyjmuje postać:
y =� Xb +� e, (4.2)
b0 x0 T 1 X11 K� X
�� ł� �� ł� �� ł�
m1
Y1 e1
�� ł� �� ł�
ę�b ś� ę� ś� ę�1 X12 K� X ś�
x1
1 m2
ę� ś� ę� ś�
ę� ś� ę� ś� ę� ś�
gdzie: y =� M� , b =� , X =� =� , e =� M� .
ę� ś� ę� ś�
M� M� M� M� M� M�
ę� ś� ę� ś� ę� ś�
ę� ś�T ��1 ę� ś�T ��1
��YT �� ę�b ś� ę�x ś� ę�1 X1T K� X ś� ��eT ��
�� m �� �� m �� �� mT ��T ��(m+�1)
(m+�1)��1
Model regresji liniowej wielu zmiennych w ogólnej postaci:
Yt =� ft (X , X1t ,K�, X , et ), (4.3)
0t mt
wymaga spełnienia następujących założeń (zob. np. Welfe [2003], s. 29-32; 64-65; Goldberger
[1975], s. 215-216):
1. Model jest niezmienniczy ze względu na obserwacje: f1 =� f2 =� K� =� fT =� f . Otrzymujemy
zatem model o postaci: Yt =� f (X , X1t ,K�, X , et ). (4.4)
0t mt
Jest to założenie o stabilności relacji występującej między badanymi zjawiskami. Uchylając to zało-
żenie, otrzymujemy m.in. modele o parametrach zmiennych w czasie.
3
Autor opracowania: Marek Walesiak
2. Postać analityczna modelu jest liniowa względem parametrów strukturalnych i zmiennych
(zob. postać (4.1)). Wiele funkcji nieliniowych można poprzez transformację sprowadzić do postaci
liniowej.
3. Wartość oczekiwana składnika losowego jest równa zeru: E(e) =� 0. Uchylenie tego założenia
oznacza, że np. MNK-estymatory są obciążone.
4. Macierz X jest nielosowa, tzn. jej elementy są ustalone w powtarzalnych próbach. Z tego za-
łożenia oraz założenia 3 wynika, że X i e są niezależne:
E(XT e) =� XT E(e) =� 0.
5. r(X) =� m +�1. Założenie to oznacza, że:
a) liczba obserwacji jest co najmniej równa liczbie szacowanych parametrów,
b) nie występuje współliniowość w zbiorze zmiennych objaśniających.
Zatem macierz XT X jest nieosobliwa, istnieje więc dla niej macierz odwrotna.
4
Autor opracowania: Marek Walesiak
2 2
6. Składnik losowy jest sferyczny: E(eeT ) =� d� I (d�  wariancja składnika losowego, I  ma-
cierz jednostkowa o wymiarach T ��T ). Założenie to mówi, że:
2
a) E(et2 ) =� d� dla wszystkich t, co jest założeniem o stałości wariancji (składnik losowy jest ho-
moskedastyczny),
b) E(et eq ) =� 0 dla wszystkich t ą� q (t, q =�1,K�,T), co jest założeniem o nieskorelowaniu skład-
ników losowych (nie występuje autokorelacja składników losowych).
Niesferyczność składnika losowego oznacza utratę efektywności MNK-estymatora.
2
7. Składnik losowy e ma T-wymiarowy rozkład normalny N(0,d� I). Założenie to pozwala na
weryfikację hipotez statystycznych.
8. Informacje z próby są jedynymi, na podstawie których estymuje się parametry strukturalne
modelu.
5
Autor opracowania: Marek Walesiak
4.2. Estymacja parametrów metodą najmniejszych
kwadratów i największej wiarygodności
Do szacowania wartości parametrów równania (4.1) wykorzystuje się metodę najmniejszych
kwadratów (MNK).
Ć
Idea tej metody polega na tym, że szuka się estymatora wektora b (oznaczanego b) minimalizu-
jącego sumę kwadratów odchyleń wartości empirycznych zmiennej zależnej od jej wartości teore-
tycznych wynikających z modelu:
a) w ujęciu algebraicznym
T
2
S =� (4.5)
��e �� min ,
t
t=�1
gdzie: et =� Yt -� v
t  t-ta reszta modelu.
b) w ujęciu macierzowym
Ć Ć
S =� (y -� Xb)T (y -� Xb) �� min , (4.6)
Ć
gdzie: e =� y -� w
=� y -� Xb  wektor reszt modelu.
6
Autor opracowania: Marek Walesiak
Y
Ć Ć
Ć Ć
v
=� b0 +� b1X
ó� ó� ó�
v
=� b0 +� b1X
Y5
Y4
Y3
Y1
Y2
X5
X1 X2 X3 X4 X
7
Autor opracowania: Marek Walesiak
Y
Ć Ć
Ć Ć
v
=� b0 +� b1X
ó� ó� ó�
v
=� b0 +� b1X
ó�
e5
e5
Y5
Y4
Y3
Y1
Y2
X5
X1 X2 X3 X4 X
8
Autor opracowania: Marek Walesiak
Y
Ć Ć
Ć Ć
v
=� b0 +� b1X
ó� ó� ó�
v
=� b0 +� b1X
X
9
Autor opracowania: Marek Walesiak
Ujęcie algebraiczne
T T
2
S =�
��e =� ��(Y -� v
t )2 �� min
t t
t=�1 t=�1
Ć Ć
Regresja liniowa jednej zmiennej objaśniającej: v
t =� b0 +� b1Xt
T T
2
Ć Ć
Minimalizacja funkcji S =�
��e =� ��(Y -� b0 -� b1Xt )2 wymaga wyznaczenia pochodnej funkcji S
t t
t=�1 t=�1
Ć Ć
względem b0 i b1, a następnie przyrównujemy do zera:
T
d�S
Ć Ć
=� -�2
��(Y -� b0 -� b1Xt ) =� 0
t
Ć
d�b0
t=�1
T
d�S
Ć Ć
=� -�2 Xt (Yt -� b0 -� b1Xt ) =� 0
��
Ć
d�b1
t=�1
10
Autor opracowania: Marek Walesiak
Po wykonaniu sumowania i uporządkowaniu otrzymujemy układ równań normalnych:
T T
Ć Ć
Xt
��Y =� Tb0 +� b1��
t
t=�1 t=�1
T T T
Ć Ć
XtYt =� b0 Xt +� b1 Xt2
�� �� ��
t=�1 t=�1 t=�1
Dzieląc pierwsze równanie przez T otrzymujemy:
Ć Ć
Y =� b0 +� b1X
Ć Ć
Stąd b0 =� Y -� b1X
Linia regresji przechodzi więc przez punkt (X ,Y ).
T
Ć Ć
Podstawiając do równania drugiego: Xt =� TX oraz b0 =� Y -� b1X otrzymujemy:
��
t=�1
T T
XtYt -�TXY
�� ��(X -� X )(Yt -�Y )
t
t=�1 t=�1
Ć Ć
b1 =� lub równoważny wzór b1 =�
T T
2
Xt2 -�TX
�� ��(X -� X )2
t
t=�1 t=�1
11
Autor opracowania: Marek Walesiak
Ujęcie macierzowe
Ć Ć
Minimalizacja funkcji S =� eTe =� (y -� Xb)T (y -� Xb) wymaga wyznaczenia gradientu funkcji S
Ć
względem wektora b.
Przed wyznaczeniem gradientu przeprowadzone zostaną przekształcenia:
Ć Ć Ć
eTe =� yT y -� bT XT y -� yT Xb +� bT XT Xb
Z własności transpozycji wynika, że (AB)T =� BT AT , więc
Ć Ć Ć
(yT Xb)T =� (Xb)T y =� bT XTy
Będziemy więc minimalizować następującą funkcję:
Ć Ć
S =� eTe =� yT y -� 2yT Xb +� bT XT Xb
Ć
Wyznaczamy gradient funkcji S względem b, a następnie przyrównujemy do wektora zerowego
o wymiarach (m +�1) ��1:
d�S
Ć
=� -�2XT y +� 2XT Xb =� 0
Ć
d�b
12
Autor opracowania: Marek Walesiak
Jeśli macierz odwrotna do XT X istnieje to rozwiązaniem jest wektor:
Ć
b =� (XT X)-�1XT y (4.7)
Postać Hessianu otrzymujemy różniczkując gradient:
2
d� S
=� 2XT X
Ć
d�b2
Macierz XT X jest dodatnio określona (każdy minor główny macierz symetrycznej jest większy
od zera), gdy X ma pełny rząd kolumnowy. Z tego wynika, że rozwiązanie (4.7) minimalizuje sumę
kwadratów odchyleń.
13
Autor opracowania: Marek Walesiak
Metoda największej wiarygodności (MNW)
W modelu regresji liniowej: Yt =� b0 +� b1X1t +�K�+� bm Xmt +� et
przy spełnieniu 7 założenia o normalności rozkładu składników losowych Yt mają rozkłady normal-
ne o średniej b0 +� b1X1t +�K�+� bm Xmt i odchyleniu standardowym d� .
W tej sytuacji łączna funkcja gęstości obserwacji f (Y1,K�,YT ) (funkcja wiarygodności L(b,d� ))
T
ć� ��
mt
��
ma postać: L(b,d� ) =�
��d� 12p� exp��-� (Yt -� b0 -� b1X1t -�K� -� bm X )2 ��
2
��
2d�
t=�1
Ł� ł�
lub w zapisie macierzowym:
T
Ć Ć
ć� ��
1 (y -� Xb)T (y -� Xb)
ć� ��
�� ��
L(b,d� ) =� exp��-�
�� ��
2
��
d� 2p� 2d�
Ł� ł�
Ł� ł�
T
T
-�T
1 -�
ć� ��
2
2
=� (�d� 2p� )� =� (�d� 2p�)�
�� ��
d� 2p�
Ł� ł�
Estymacja metodą największej wiarygodności wymaga wyboru takich wartości parametrów, któ-
re maksymalizują tę funkcję.
14
Autor opracowania: Marek Walesiak
Wygodna jest maksymalizacja logarytmu funkcji wiarygodności (funkcje ln L i L osiągają mak-
simum w tym samym punkcie):
T T 1
2
Ć Ć
ln L(b,d� ) =� -� ln 2p� -� ln d� -� (y -� Xb)T (y -� Xb)
2
2 2 2d�
Ć Ć Ć Ć
Z uwagi na to, że (y -� Xb)T (y -� Xb) =� yT y -� 2yT Xb +� bT XT Xb
pochodne cząstkowe są następujące:
ś�ln L(b,d� ) 1
Ć
=� (XT y -� XT Xb) =� 0
2
ś�b d�
Ć Ć
ś�ln L(b,d� ) T (y -� Xb)T (y -� Xb)
=� -� +� =� 0
2 4
ś�d� 2d� 2d�
Ć
Zatem estymator parametrów wyraża się wzorem: bMNW =� (XT X)-�1XT y
ęTę
2 2
Ć
a estymator wariancji składnika losowego d� : d�ĆMNW =� , gdzie: ę =� y -� Xb.
T
Ć
Zatem estymator wektora parametrów b (oznaczany b) w metodzie największej wiarygodności
(MNW) i metodzie najmniejszych kwadratów (MNK) dla modelu liniowego jest taki sam.
15
Autor opracowania: Marek Walesiak
4.3. Estymacja parametrów struktury stochastycznej modelu regresji liniowej
Ć
Macierz wariancji-kowariancji MNK-estymatora var(b):
Ć Ć Ć
var(b) =� E[�(b -� b)(b -� b)T]� =� E[�(XTX)-�1XTeeTX(XTX)-�1]� =�
2
(XT X)-�1 XT E[eeT ]X(XT X)-�1 =� (XT X)-�1 XTd� IX(XT X)-�1 =�
2 2
d� (XTX)-�1XTX(XTX)-�1 =� d� (XTX)-�1 (4.8)
2
Nieobciążonym estymatorem wariancji składnika losowego d� jest (zakładając, że wektor reszt
ę =� y -� w
stanowi najlepsze przybliżenie wektora składników losowych e):
ęT ę
d�Ć 2 =� . (4.9)
T -� (m +�1)
Pierwiastki z elementów głównej przekątnej macierzy (4.8) stanowią błędy estymatorów para-
Ć
metrów strukturalnych: S(bj ) =� d�Ć d , (4.10)
jj
gdzie: d oznacza j-ty ( j =� 0, 1,K�, m) diagonalny element macierzy (XT X)-�1.
jj
Interpretacja: szacując parametr bj , gdybyśmy mogli wiele razy pobrać próbę z tej samej popu-
Ć Ć Ć
lacji generalnej, mylimy się średnio in plus i in minus o S(bj ) (bj =� bj ą� S(bj )).
16
Autor opracowania: Marek Walesiak
Przedziały ufności dla parametrów strukturalnych bj ( j =� 0, 1,K�, m) oblicza się następująco
(zob. np. Welfe [2003], s. 49; Gajda [2004], s. 61-62):
Ć Ć Ć Ć
bj -� ta� 2,T -�(m+�1)S(bj) Ł� bj Ł� bj +� ta� 2,T -�(m+�1)S(bj ), (4.11)
gdzie: ta� 2,T -�(m+�1)  wartość krytyczna odczytana z rozkładu t-Studenta dla poziomu istotności a� 2 i
T -� (m +�1) stopni swobody,
Ć
S(bj )  błąd estymatora j-tego parametru strukturalnego,
Ć Ć Ć Ć
P{�bj -� ta� 2,T -�(m+�1)S(bj ) Ł� bj Ł� bj +� ta� 2,T -�(m+�1)S(bj )}�=� 1-�a�  określony przedział z prawdopo-
dobieństwem 1-�a� pokrywa nieznaną wartość parametru bj,
1-�a�  poziom ufności.
Interpretacja: Z prawdopodobieństwem 1-�a� przedział dany wzorem (4.11) pokryje nieznaną
wartość parametru bj z modelu.
Węższe (szersze) przedziały ufności można uzyskać poprzez zmniejszenie (zwiększenie) poziomu
ufności.
17
Autor opracowania: Marek Walesiak
Do oceny istotności statystycznej rezultatów analizy regresji oraz stopnia dopasowania modelu
do danych empirycznych pomocna jest analiza wariancji (por. tab. 4.1).
Całkowitą sumę kwadratów odchyleń (SST) w analizie regresji dzieli się na dwie części:
SST =� SSR +� SSE
T T T
��(Y -�Y )2 =� ��(v
-�Y )2 +� ��(Y -�v
t )2 , (4.12)
t t t
t =�1 t =�1 t =�1
gdzie: SSR  regresyjna suma kwadratów odchyleń (część wyjaśniona przez model),
SSE  resztowa suma kwadratów odchyleń (część nie wyjaśniona przez model).
Tabela 4.1. Tablica ANOVA w przypadku regresji wielorakiej
Suma kwadratów
y
ródło zmienności Liczba stopni swobody Średnie kwadratowe odchylenie
odchyleń
regresja (odchyle-
MSR =� SSR m
SSR m
nie regresyjne)
SSE
błąd losowy (od-
T -� (m +�1) MSE =�
SSE
chylenie resztowe)
T -� (m +�1)
odchylenie
SST =� SSR +� SSE
T -�1
całkowite
y
ródło: opracowanie własne.
18
Autor opracowania: Marek Walesiak
Każda suma kwadratów odchyleń ma określoną liczbę stopni swobody (zob. tab. 4.1).
Liczba stopni swobody  liczba wartości w próbie, które można określać dowolnie, jeśli wiemy
coś o próbie. Np. mamy 4 elementy w próbie i wiemy, że średnia tych elementów równa się 16:
a +� b +� c +� d
=� 16.
4
W tym przypadku liczba zmiennych, która może być określana dowolnie równa się 4 -�1 =� 3.
Mamy dowolność wyboru 3 wartości zmiennych, ponieważ wartość czwarta jest określona automa-
tycznie.
19
Autor opracowania: Marek Walesiak
Na podstawie tab. 4.1 można bezpośrednio obliczyć wartości współczynnika determinacji R2
2 2
(zbieżności j� ), skorygowanego współczynnika determinacji R , standardowego błędu oceny d�Ć
oraz statystyki F :
SSR SSE
R2 =� =� 1-� =� 1-�j�2, (4.13)
SST SST
SSE [T -�(m +�1)] T -�1
2
R =� 1-� =� 1-� (1-� R2) �� , (4.14)
SST (T -�1) T -� (m +�1)
SSE
d�Ć =� , (4.15)
T -� (m +�1)
MSR
F =� , (4.16)
MSE
SST =� SSR +� SSE
T T T
gdzie:
��(Y -�Y )2 =� ��(v
-�Y )2 +� ��(Y -�v
t )2
t t t
t =�1 t =�1 t =�1
SSE
MSR =� SSR m; MSE =�
T -� (m +�1)
20
Autor opracowania: Marek Walesiak
Współczynnik determinacji R2 (dla modelu liniowego z wyrazem wolnym):
 przyjmuje wartości z przedziału [0; 1];
 wskazuje jaka część zmienności zmiennej objaśnianej (zależnej) została wyjaśniona przez zbu-
dowany model;
 obarczony jest wadą polegającą na tym, że nie zmniejsza swej wartości wraz z dokładaniem co-
raz to nowych zmiennych objaśniających.
Warunki stosowalności oraz prawidłowej interpretacji współczynnika determinacji R2:
 dla modelu liniowego między zmienną objaśnianą i zmiennymi objaśniającymi,
 parametry muszą być estymowane MNK,
 w modelu występuje wyraz wolny (w przeciwnym przypadku R2 �� (-�Ą�;1]).
Dla modelu liniowego bez wyrazu wolnego stosuje się jako miarę dopasowania niescentrowany
współczynnik determinacji:
eTe
2 2
RN =� 1-� , RN ��[0;1].
T
2
��Y
t
t=�1
21
Autor opracowania: Marek Walesiak
24
A 12 B C
3
Y Y
Y
2
10
22
1
8
0
20
6
-1
4
18
-2
2
-3
-3 -2 -1 0 1 2 3
0 16
X
0 5 10 15 20 25 0 2 4 6 8 10 12
X X
v
=� 3,233+�1,921X ; R2 =� 0,921 v
=� 19,567-� 0,012 X ; v
=� 0,136+� 0,006 X ; R2 =� 0,00004
(0,822) (0,133) (1,043) (0,168) (0,100) (0,098)
zależność liniowa brak zależności
R2 =� 0,0003
nie ma zależności liniowej,
ale jest zależność nieliniowa
Rys. A C. Dane empiryczne, regresja liniowa i R2
y
ródło: opracowanie własne na postawie: Greene [2003], s. 31; Welfe [2003], s. 42.
22
Autor opracowania: Marek Walesiak
2
Skorygowany współczynnik determinacji R powstaje ze współczynnika determinacji R2
przez podzielenie wyrażeń SSE i SST przez odpowiadające im liczby stopni swobody.
2 2
 R może być ujemny: R ��(-�Ą�;1];
2
 jeśli po dodaniu do równania regresji nowej zmiennej R wzrasta, to prawdopodobnie warto było
ją włączyć,
 wskazuje jaka część wariancji zmiennej objaśnianej (zależnej) została wyjaśniona przez zbudo-
wany model.
2
Między R2 i R istnieje następujący związek:
T -�1 ć� T -�1 ��
�� T -�1 ł�
2 2 2
2
1-�j� -�1+�f�
=� f� �� -�1��
R2 -� R =� R2 -� (1-� R2 ) =�
ę�1-�
T -� (m +�1)ś� T -� (m +�1)
�� �� Ł�T -� (m +�1) ł�
Zmniejszenie liczby stopni swobody wpływa na zmniejszenie skorygowanego współczynnika
2
determinacji. Jednak dla R w przypadku rosnącej liczby obserwacji kara za zmniejszenie liczby
stopni swobody nie jest wystarczająca. W tym względzie wprowadzono dwie miary AIC i BIC.
Wybieramy model o mniejszej wartości AIC (BIC).
23
Autor opracowania: Marek Walesiak
Współczynnik korelacji wielorakiej R (dla modelu liniowego z wyrazem wolnym):
 przyjmuje wartości z przedziału [0; 1];
 dla R =� 0 nie ma zależności liniowej;
 dla R =�1 między zmienną objaśnianą i zmiennymi objaśniającymi istnieje funkcyjny związek li-
niowy;
 mierzy stopień skorelowania zmiennej objaśnianej ze zmiennymi objaśniającymi.
Standardowy błąd oceny d�Ć pokazuje o ile przeciętnie odchylają się wartości empiryczne od
wartości teoretycznych (wynikających ze zbudowanego modelu).
24
Autor opracowania: Marek Walesiak
4.4. Interpretacja parametrów strukturalnych modelu regresji liniowej
Ogólna postać klasycznego modelu regresji liniowej wielu zmiennych w populacji:
E(Yt X1t ,K�, Xmt) =� E(Yt ) =� b0 +� b1X1 +�K�+� bm Xm
Zapis ten oznacza, że (warunkowa) wartość oczekiwana (wartość średnia) zmiennej objaśnianej
jest równa wartości funkcji, której parametry są szacowane.
Parametr bj mierzy zmianę oczekiwanej (średniej) wartości zmiennej objaśnianej wywołaną
jednostkową zmianą j-tej zmiennej objaśniającej, przy warunku ceteris paribus. Parametr bj infor-
muje więc o bezpośrednim efekcie jednostkowej zmiany zmiennej objaśniającej.
Parametry bj odpowiadają pochodnym cząstkowym względem poszczególnych zmiennych ob-
jaśniających:
d�Y
=� bj
d�X
j
25
Autor opracowania: Marek Walesiak
Określenie relatywnego wpływu
zmiennych objaśniających na zmienną objaśnianą
Współczynnik  ważności zmiennych objaśniających (Nowak [2002], s. 62):
X
j
wj =� bj
Y
gdzie: X (Y )  średnia arytmetyczna z wartości j-tej zmiennej objaśniającej (objaśnianej).
j
26
Autor opracowania: Marek Walesiak
4.5. Weryfikacja i diagnostyka modelu regresji liniowej
Przeprowadzenie weryfikacji hipotez statystycznych wymaga sprawdzenia, czy składnik losowy
ma rozkład normalny. Spełnienie tego założenia oznacza, że odpowiednie statystyki mają pożądane
rozkłady, np. t-Studenta, F Snedecora (zob. Welfe [2003], s. 32).
Wśród testów weryfikacji normalności rozkładu składnika losowego często stosowany jest test
Shapiro-Wilka (mało wrażliwy na autokorelację i heteroskedastyczność) oraz, tylko dla dużych
prób, test Jarque-Bery.
27
Autor opracowania: Marek Walesiak
Test Shapiro-Wilka
Zakładamy, że dany jest ciąg składników losowych e1,K�, eT , który pochodzi z populacji o cią-
głej dystrybuancie F(e). Hipotezę zerową H oraz alternatywną H1 formułuje się w teście Shapiro-
0
Wilka następująco:
H : F(e) =� FN (e),
0
H1: F(e) ą� FN (e),
gdzie: FN (e) jest dystrybuantą rozkładu normalnego.
Sprawdzianem testu Shapiro-Wilka jest statystyka:
2
��[T / 2] ł�
��a (e(T -� e(t )ś�
T -�t +�1 -�t +�1) )
ę�
t =�1
�� ��
W =� , (4.17)
T
��(e -� e)2
t
t =�1
gdzie: aT -�t+�1  współczynniki odczytane z tablic testu Shapiro-Wilka,
[�T / 2]�  część całkowita liczby T / 2.
28
Autor opracowania: Marek Walesiak
Procedura sprawdzania H w teście Shapiro-Wilka (Domański i Pruska [2000], s. 174; Jakubczyc
0
[1982], s. 119-120; Borkowski, Dudek i Szczesny [2003], s. 82-83):
1. Porządkujemy składniki losowe e1,K�, eT według rosnących wartości otrzymując ciąg:
e(1) <� e(2) <� K� <� e(T ).
2. Obliczamy wartość statystyki W .
3. Dla przyjętego z góry poziomu istotności a� (np. a� =� 0,01) i wielkości próby T z tablic testu
Shapiro-Wilka odczytujemy wartość krytyczną Wa� .
4. Hipotezę H odrzucamy, gdy W <� Wa� .
0
W badaniach empirycznych składnik losowy et występujący we wzorze (4.17) zastępujemy resz-
tami ęt otrzymanymi metodą najmniejszych kwadratów. Zatem wzór (4.17) przyjmuje postać:
2
��[T / 2] ł�
��a (ę(T -� ę(t )ś�
T -�t +�1 -�t +�1) )
ę�
t =�1
�� ��
W =� . (4.18)
T
2
��ę
t
t =�1
29
Autor opracowania: Marek Walesiak
Wnioskowanie o regresji jako całości
Wnioskowanie o istotności regresji jako całości przeprowadza się za pomocą testu F . Hipotezę
zerową H oraz alternatywną H1 formułuje się w tym teście następująco:
0
H0 : b1 =� K�=� bm =� 0,
H1 : przynajmniej jeden bj ą� 0 ( j =�1,K�, m).
Jeśli H jest prawdziwa, to statystyka
0
SSR m
F =� (4.19)
SSE (T -� m -�1)
ma rozkład F z m i T -� m -�1 stopniami swobody.
Jeśli po obliczeniu wartości empirycznej tej statystyki i porównaniu jej z wartością krytyczną
Fa�(�m)� (odczytaną z tablic rozkładu F przy danym poziomie istotności a� ) okaże się, że
(�T -�m-�1)�
m
F Ł� Fa�((T)-�m-�1), (4.20)
to wówczas nie ma podstaw do odrzucenia hipotezy H . W przeciwnym przypadku hipotezę zerową
0
H odrzucamy na rzecz hipotezy alternatywnej H1.
0
30
Autor opracowania: Marek Walesiak
Wnioskowanie o każdym współczynniku regresji z osobna
Hipotezę zerową H oraz alternatywną H1 formułuje się w tym teście następująco:
0
H : bj =� 0 X nie ma istotnego wpływu na zmienną Y ,
0 j
H1 : bj ą� 0 X wpływa istotnie na zmienną Y .
j
Sprawdzianem hipotezy zerowej jest statystyka:
Ćj j
b -� b
t =� . (4.21)
j
Ćj
S(b )
Z uwagi na to, że hipoteza zerowa przypisuje parametrowi bj wartość zerową, statystyka przyj-
muje postać (możliwe jest bowiem sprawdzenie hipotezy, że bj przyjmuje jakąś konkretną wartość
różną od zera):
Ćj
b
t =� . (4.22)
j
Ć
S(bj )
Statystyka ta ma rozkład t Studenta o T -� (m +�1) stopniach swobody.
31
Autor opracowania: Marek Walesiak
Jeśli po obliczeniu wartości tej statystyki i porównaniu jej z wielkością krytyczną ta� (T -�m-�1) od-
czytaną z tablic rozkładu t Studenta okaże się, że
t Ł� ta� (T -�m-�1) dla j =� 0, 1,K�, m,
j
to wówczas nie ma podstaw do odrzucenia hipotezy H (zmienna regresyjna ma nieistotny wpływ
0
na zmienną objaśnianą).
32
Autor opracowania: Marek Walesiak
Problemy w modelach regresji liniowej
Współliniowość
Dokładna współliniowość zmiennych objaśniających występuje rzadko. Wtedy r(X) <� m +�1 i
oznacza to, że nie istnieje macierz (XT X)-�1.
Częste w praktyce jest zjawisko przybliżonej współliniowości zmiennych objaśniających, które
niesie następujące niekorzystne konsekwencje (zob. Welfe [2003], s. 141):
a) niemożliwy jest prawidłowy pomiar siły oddziaływania zmiennych objaśniających na zmienną
objaśnianą,
Ć
b) oceny wariancji MNK-estymatora var(b) są bardzo wysokie,
c) wartości t-statystyk dla zmiennych skorelowanych są małe, co oznacza celowość ich usunięcia
z modelu; z kolei statystyka F wskazuje na  istotność modelu regresji jako całości,
d) oszacowania parametrów są wrażliwe na niewielkie zmiany liczby obserwacji.
33
Autor opracowania: Marek Walesiak
Jednym z mierników stopnia współliniowości zmiennych objaśniających jest tzw. czynnik infla-
cji wariancji estymatora parametru. Występowanie w modelu współliniowości statystycznej może
Ć
zawyżać błędy estymatorów parametrów strukturalnych S(bj ) określonych wzorem (4.10).
Występujący w tym wzorze element d można przedstawić w postaci (zob. Gruszczyński, Kluza
jj
i Winek [2003], s. 42; Greene [2003], s. 57):
1
d =� , (4.23)
jj
T
2
(1-� R )
j ��(X -� X )2
jt j
t =�1
gdzie: R2  współczynnik determinacji modelu, w którym zmienną objaśnianą jest X , a objaśnia-
j j
jącymi są pozostałe m -�1 zmiennych X.
34
Autor opracowania: Marek Walesiak
Występujący we wzorze (4.23) czynnik:
1
VIFj =� (4.24)
(1-� R2 )
j
nazwany jest czynnikiem inflacji wariancji dla j-tego estymatora parametru (VIF  variance infla-
tion factor).
W przypadku braku współliniowości oraz dla modelu z jedną zmienną objaśniającą VIFj =� 1.
Wartości VIFj >� 1 informują ile razy wariancja estymatora parametru jest większa od wariancji
prawdziwej (tzn. nie zakłóconej współliniowością statystyczną).
Wartości VIFj >� 10 wskazują na problemy związane ze współliniowością (zob. Gruszczyński,
Kluza i Winek [2003], s. 42).
35
Autor opracowania: Marek Walesiak
W przypadku wystąpienia problemu związanego ze współliniowością należy rozważyć jedną z
następujących możliwości jego rozwiązania (zob. Welfe [2003], s. 146-150; Lattin, Carroll i Green
[2003], s. 57):
a) rozszerzyć lub skrócić zakres próby statystycznej,
b) usunąć z modelu zmienną lub zmienne będące przyczyną współliniowości,
c) zastosować metodę analizy czynnikowej lub głównych składowych w celu otrzymania mniej-
szej liczby (niż pierwotna liczba zmiennych objaśniających) ortogonalnych czynników. Wyodręb-
nione czynniki zachowują znaczną część informacji zawartych w pierwotnych zmiennych,
d) nałożyć dodatkowe warunki na parametry (np. ich suma równa się jedności). Pozwala to
zmniejszyć wariancję estymatorów,
e) dokonać transformacji zmiennych zwiększających ich wariancje (pierwsze różnice wartości
zmiennych, tempa wzrostu, logarytmy). W wyniku transformacji następuje jednak zmiana postaci
modelu,
f) zastosować metodę estymacji grzbietowej.
36
Autor opracowania: Marek Walesiak
Heteroskedastyczność
Heteroskedastyczność oznacza niejednorodność wariancji składników losowych w próbie. Wy-
stępuje głównie w modelach opartych na danych przekrojowych i przekrojowo-czasowych, choć
również spotykana jest w modelach opartych na szeregach czasowych.
Zastosowanie MNK w przypadku heteroskedastyczności prowadzi do otrzymania nieefektyw-
nych estymatorów parametrów strukturalnych oraz obciążonych estymatorów wariancji tych para-
metrów (zob. Welfe [2003], s. 116). Składnik losowy jest heteroskedastyczny, gdy:
2
E(��T ) =� Ś =� d� �, (4.25)
2
gdzie: d�t2 =� d� w�t ,
w�1 0 K� 0
�� ł�
d�12 0 K� 0 �� ł�
ę� ś�
ę� ś�
2
0 d�2 K� 0
ę� ś�, � =� 0 w�2 K� 0 .
ę� ś�
Ś =�
ę� ś�
ę� M� M� M� M� ś�
M� M� M� M�
ę� ś�
ę�
2
0 0 K� w�T ś�
0 0 K� d�T ��
�� ��
��
37
Autor opracowania: Marek Walesiak
Jeśli znana jest macierz � do estymacji parametrów można wykorzystać uogólnioną metodę
najmniejszych kwadratów:
Ć
b =� (XT �-�1X)-�1 XT �-�1y. (4.26)
Można również zastosować MNK dla zmiennych transformowanych:
Ć
b =� (X*T X* )-�1 X*T y*, (4.27)
�� ł�
1 w�1 0 K� 0
ę� ś�
0 1 w�2 K� 0
ę� ś�.
gdzie: X* =� PX, y* =� Py, P =�
ę� ś�
M� M� M� M�
ę� ś�
0 0 K� 1 w�T ��
��
Rezultaty otrzymane za pomocą (4.26) i (4.27) są równoważne.
Np. w metodzie korekty heteroskedastyczności składnika losowego elementy diagonalne macie-
rzy � wyznacza się ze wzoru (zob. Kufel [2007], s. 132):
1
w�t =� , (4.26)
t
ev

gdzie: e  podstawa logarytmu naturalnego, v
t  t-ta wartość teoretyczna zmiennej Y.
38
Autor opracowania: Marek Walesiak
Jeśli macierz � nie jest znana, należy przeprowadzić estymację wariancji składników losowych
d�t2 na podstawie dodatkowych informacji. W tym celu można zastosować jedno z podejść (zob.
Welfe [2003], s. 119-122):
1. Przyjąć założenie, że wariancja jest stała w podpróbach. Dla danych przekrojowo-czasowych
podpróbami mogą być przedsiębiorstwa, gałęzie przemysłu, regiony itd. Warunkiem zastosowania
tego podejścia jest liczebność każdej podpróby większa od liczby szacowanych parametrów struktu-
ralnych.
2. Przyjąć założenie, że wariancja jest funkcją zmiennych egzogenicznych (np. wariancja jest li-
niową funkcją czasu  zob. Jakubczyc [1982], s. 170).
39
Autor opracowania: Marek Walesiak
Do testowania występowania heteroskedastyczności w literaturze (zob. np. Greene [2003], s.
222-225; Welfe [2003], s. 122-125; Dziechciarz i in. [2002], s. 149-151; Gruszczyński, Kluza i Wi-
nek [2003], s. 50-52) proponuje się stosować następujące testy: Goldfelda-Quandta, Breuscha-
Pagana, White a.
Test Goldfelda-Quandta
Test ten wymaga wyodrębnienia dwóch podprób, które są homogeniczne ze względu na warian-
cję składnika losowego. Hipotezę zerową H oraz alternatywną H1 określa się następująco:
0
2
H : d�12 =� d� ,
0 2
2
H1: d�12 ą� d� ,
2
2
gdzie: d�12 (d� )  wariancja składnika losowego w pierwszej (drugiej) podpróbie.
2
40
Autor opracowania: Marek Walesiak
Sprawdzianem H jest statystyka:
0
d�Ć12
F =� , (4.28)
2
d�Ć2
2
gdzie: d�Ć12 (d�Ć2 )  estymatory wariancji składnika losowego wyznaczone na podstawie reszt modelu
estymowanego MNK oddzielnie dla każdej podpróby (w liczniku jest większa z wariancji),
T
ę1 ę1 ęT ę2
2 2
d�Ć12 =� ; d�Ć2 =� . (4.29)
T1 -� (m +�1) T2 -� (m +�1)
Statystyka (4.28) ma rozkład F o T1 -� (m +�1) i T2 -� (m +�1) stopniach swobody.
41
Autor opracowania: Marek Walesiak
Procedura testu Goldfelda-Quandta
(por. Borkowski, Dudek i Szczesny [2003], s. 95)
1. Porządkujemy niemalejąco obserwacje w próbie według wartości zmiennej porządkującej, któ-
rą jest:
 dla szeregów czasowych: zmienna czas,
 dla szeregów przekrojowych: jedna ze zmiennych objaśniających podejrzewana o spowodowa-
nie heteroskedastyczności.
2. Wybieramy dwie skrajne podpróby o liczebności T1 i T2. Dla podniesienia mocy testu pomija
się nie więcej niż 1 3��T środkowych obserwacji (zob. Greene [2003], s. 223). W przypadku wydzie-
lenia większej liczby podprób o homogenicznej wariancji składnika losowego stosujemy test Gold-
felda-Quandta dla dwóch podprób, dla których oceny wariancji różnią się najbardziej (zob. Welfe
[2003], s. 123).
42
Autor opracowania: Marek Walesiak
2
3. Estymujemy parametry MNK dla obu podprób i wyznaczamy wariancje resztowe d�Ć12 i d�Ć2 wg
wzoru (4.29). Obliczamy wartość statystyki empirycznej F o postaci (4.28).
4. Dla przyjętego z góry poziomu istotności a� (np. a� =� 0,01) oraz T1 -� (m +�1) i T2 -� (m +�1)
stopni swobody odczytujemy z tablic rozkładu F wartość krytyczną Fa� .
5. Jeśli F Ł� Fa� to nie ma podstaw do odrzucenia hipotezy H o homoskedastyczności składni-
0
ków losowych. Hipotezę H odrzucamy, gdy F >� Fa� .
0
43
Autor opracowania: Marek Walesiak
Autokorelacja
Autokorelacja występuje najczęściej dla modeli, których parametry estymowane są na podstawie
danych w postaci szeregów czasowych. Wśród przyczyn autokorelacji wymienia się (zob. np. Welfe
[2003], s. 89-90):
a) błędy sztuki ekonometrycznej:
 nieprawidłowa postać analityczna modelu,
 nieprawidłowe określenie lub brak opóz
nień dla niektórych zmiennych objaśniających,
 nieprawidłowy dobór zmiennych objaśniających (pominięcie istotnej zmiennej objaśniającej),
 transformacje szeregów czasowych, polegające na ich wygładzaniu, agregacji i interpolacji;
b) natura procesów społeczno-gospodarczych i biologicznych, np. susza w rolnictwie i w konse-
kwencji nieurodzaj w produkcji roślinnej oddziałuje np. na poziom produkcji zwierzęcej w roku na-
stępnym;
c) czynnik psychologiczny w sposobie podejmowania decyzji, które są silnie zdeterminowane
zdarzeniami z bezpośredniej przeszłości.
44
Autor opracowania: Marek Walesiak
W najprostszym przypadku zakłada się, że ciąg {et } podlega schematowi autoregresyjnemu
pierwszego rzędu AR(1):
et =� r�et -�1 +� m�t , (4.30)
gdzie: r�  współczynnik autokorelacji, r� <� 1,
2
m�  składnik losowy spełniający klasyczne założenia: E(ź) =� 0, E(źźT ) =� d� I.
m�
Autokorelacja występuje wtedy, gdy składniki losowe dla różnych obserwacji są skorelowane,
tzn. gdy macierz �:
2
E(��T ) =� Ś =� d� �, (4.31)
2
s�
m�
2
gdzie: d� =� ,
2
1-� r�
�� ł�
1 r� r�2 K� r�T -�1
2
s�m� ę�
r� 1 r� K� r�T -�2ś�
2
ę� ś�.
Ś =� s� � =�
ę� ś�
1-� r�2
M� M� M� M� M�
ę� ś�
T -�1
r�T -�2 r�T -�3 K� 1
��r� ��
45
Autor opracowania: Marek Walesiak
Jeśli znana jest macierz �, do estymacji parametrów można wykorzystać uogólnioną metodę naj-
mniejszych kwadratów:
Ć
b =� (XT �-�1X)-�1 XT �-�1y. (4.32)
1 -� r� 0 K� 0 0
�� ł�
ę� ś�
0 0
ę�-� r� (1+� r�)2 -� r� K� ś�
ę� 0 -� r� (1+� r�)2 K� 0 0 ś�
1
gdzie: �-�1 =� .
ś�
1-� r�2 ę� M� M� M� M� M� M�
ę� ś�
ę� ś�
0 0 0 K� (1+� r�)2 -� r�
ę� ś�
0 0 0 K� -� r� 1
�� ��
46
Autor opracowania: Marek Walesiak
Można również zastosować MNK dla zmiennych transformowanych:
Ć
b =� (X*T X* )-�1 X*T y*, (4.33)
gdzie: X* =� PX, y* =� Py,
��
1-� r�2 0 0 K� 0 0ł�
ę� ś�
-� r� 1 0 K� 0 0ś�
ę�
ę�
0 -� r� 1 K� 0 0ś�
P =�
ę� ś�.
M� M� M� M� M� M�ś�
ę�
ę�
0 0 0 K� 1 0ś�
ę� ś�
0 0 0 K� -� r� 1��
ę� ś�
��
Rezultaty otrzymane za pomocą (4.32) i (4.33) są równoważne.
47
Autor opracowania: Marek Walesiak
Estymację w sytuacji, gdy współczynnik autokorelacji AR(1) nie jest znany, przeprowadza się w
Ć
analogiczny sposób, z tym że parametr r� zastępujemy estymatorem r� . Pozwala to na otrzymanie
Ć Ć
macierzy � i P .
Ć
Cztery warianty estymatorów r� zaprezentowano m.in. w pracy Welfe [2003], s. 98-99:
T T
Ć
 współczynnik autokorelacji reszt: r�1 =� ętęt -�1 t =�1ęt2 (gdzie ęt jest resztą MNK),
�� ��
t =�2
T -� (m +�1)
Ć Ć
 r�2 =� r�1,
T -�1
T
(ęt -� ęt -�1 )2
d ��
t =�2
Ć
 r�3 =� 1-� , gdzie d =� jest statystyką Durbina-Watsona,
T
2
ęt2
��
t =�1
T T T
Ć
 r�4 =� ętęt -�1 ęt2 t =�2ęt2-�1 .
�� �� ��
t =�2 t =�1
48
Autor opracowania: Marek Walesiak
Do testowania występowania autokorelacji pierwszego rzędu AR(1) wykorzystuje się najczęściej
test Durbina-Watsona. Schemat weryfikacji hipotezy zerowej ( H0 : r� =� 0) przy hipotezie alterna-
tywnej ( H1 : r� >� 0) jest następujący:
d ł� dU : przyjmujemy hipotezę, że r� =� 0,
dL <� d <� dU : test nie daje odpowiedzi,
d Ł� dL: odrzucamy hipotezę, że r� =� 0.
Wartości dL i dU oznaczają dolną i górną wartość krytyczną, odczytywaną z tablic rozkładu sta-
tystyki d (przy ustalonych T i m). Sprawdzianem hipotezy zerowej ( H0 : r� =� 0) przy hipotezie al-
ternatywnej ( H1 : r� <� 0) jest statystyka 4 -� d .
49
Autor opracowania: Marek Walesiak
Do weryfikacji hipotezy o braku autokorelacji rzędu p służy test Breuscha-Godfreya (zwany
też testem mnożnika Lagrange a LM).
Zakłada się, że ciąg {et } podlega schematowi autoregresyjnemu rzędu p AR(p):
et =� r�1et -�1 +� r�2et -�2 +�K�+� r�pet -� p +� m�t , (4.34)
gdzie: r�1, r�2 ,K�, r�  współczynniki autokorelacji,
p
m�  składnik losowy.
Hipotezę zerową H oraz alternatywną H1 formułuje się w tym teście następująco:
0
H0 : r�1 =� r�2 =� K� =� r� =� 0,
p
H1 : przynajmniej jeden r� ą� 0.
50
Autor opracowania: Marek Walesiak
Procedura test Breuscha-Godfreya
zob. Gujarati [2003], s. 473-474
1. Szacujemy metodą najmniejszych kwadratów parametry modelu (4.1), a następnie obliczamy
reszty modelu ęt .
2. Szacujemy model pomocniczy:
Ć Ć Ć
ęt =� a0 +� a1X1t +�K�+� amXmt +� r�1ęt -�1 +� r�2ęt -�2 +�K�+� r�pęt -� p +� m�t
oraz obliczamy dla tego modelu współczynnik determinacji R2 .
2
3. Breusch i Godfrey wykazali, że dla dużej próby (T -� p)R2 ~ c� . Obliczamy więc wartość
p
2
(T -� p)R2 i porównujemy z wartością krytyczną testu chi-kwadrat c� dla ustalonego poziomu
p
istotności a� i p stopni swobody. Można też wykorzystać w tym względzie test F (statystykę empi-
ryczną podano w pracy Franses i Paap [2001], s. 40).
51
Autor opracowania: Marek Walesiak
2
4. Jeśli (T -� p)R2 Ł� c� , to nie ma podstaw do odrzucenia hipotezy zerowej o braku autokorela-
p
cji. W przeciwnym przypadku hipotezę zerową odrzucamy. Oznacza to, że przynajmniej jeden
współczynnik autokorelacji r�1, r�2 ,K�, r� jest istotnie różny od zera.
p
Test Breuscha i Godfreya można zastosować przy innych specyfikacjach procesu generującego
składniki losowe. Na przykład weryfikacja występowania autokorelacji trzeciego stopnia
et =� r�3et -�3 +� m�t wymaga oszacowania w kroku drugim modelu pomocniczego
m
ęt =� a0 +� Ć
��a X +� r�3ęt +� m�t
j jt -�3
j =�1
i weryfikacji hipotezy zerowej H0 : r�3 =� 0 (zob. Maddala [2006], s. 292-293).
52
Autor opracowania: Marek Walesiak
Istotnym zagadnieniem związanym z diagnostyką modelu ekonometrycznego jest identyfikacja
tzw. obserwacji odstających, wśród których wyróżnia się:
 obserwacje wpływowe (influential observations)  są to obserwacje silnie oddziałujące na
oszacowane parametry strukturalne. Włączenie do zbioru danych tych obserwacji powoduje, że
znacznie zmieniają się oszacowane parametry modelu,
 obserwacje nietypowe (outliers)  są to obserwacje charakteryzujące się dużą resztą. Tego ty-
pu obserwacje wpływają na pogorszenie dopasowania modelu do danych.
Obserwacja odstająca może być jednocześnie obserwacją wpływową i nietypową.
53
Autor opracowania: Marek Walesiak
Do identyfikacji obserwacji wpływowych wykorzystuje się przede wszystkim tzw. macierz rzu-
towania (hat matrix). Reszty w modelu ekonometrycznym dane są równaniem:
Ć
ę =� y -� w
=� y -� Xb =� y -� X(XTX)-�1XTy =� y -� Hy
Elementy głównej przekątnej macierzy (hat matrix) H =� X(XT X)-�1 XT spełniają następujące wa-
runki (zob. Lattin, Carroll i Green [2003], s. 63):
0 Ł� htt Ł� 1 i
��h =� m +�1
tt
t
Obserwację o numerze t uznaje się za wpływową, gdy htt >� 2(m +�1) T , a dla małych prób:
htt >� 3(m +�1) T (zob. Fox [2002], s. 195).
54
Autor opracowania: Marek Walesiak
*
Do identyfikacji obserwacji nietypowych wykorzystuje się reszty studentyzowane et zdefinio-
wane następująco (zob. Lattin, Carroll i Green [2003], s. 63):
ęt
*
et =� ,
d�Ć(t) 1-� htt
gdzie: d�Ć(t)  ocena odchylenia standardowego składnika losowego po usunięciu t-tej obserwacji.
Reszty studentyzowane mają rozkład t-Studenta z T -� m -� 2 stopniami swobody. Jeśli po obli-
czeniu wartości tej statystyki i porównaniu jej z wielkością krytyczną ta� (T -�m-�2) odczytaną z tablic
rozkładu t Studenta okaże się, że
*
et Ł� ta� (T -�m-�2) dla t =� 1,...,T ,
to wówczas nie ma podstaw do odrzucenia hipotezy H mówiącej o tym, że obserwacja t jest ob-
0
serwacją typową.
55
Autor opracowania: Marek Walesiak
4.6. Przykład  praca własna studenta
Na podstawie danych statystycznych (dane przekrojowe):
t Yt X1t X2t
1 1 0 0
2 2 1 0
3 3 0 1
4 4 1 2
oszacować parametry strukturalne i parametry struktury stochastycznej dla modelu:
Yt =� b0 +� b1X1t +� b2X2t +�x�t
Ć
b =� (XT X)-�1XT y
1
�� ł�
ę�2ś�
ę� ś�
y =�  wektor obserwacji na zmiennej objaśnianej,
3
ę� ś�
ę�4ś�
�� ��
56
Autor opracowania: Marek Walesiak
1 0 0
�� ł�
ę�1 1 0ś�
 macierz obserwacji na zmiennych
ę� ś�
X =�
1 0 1
ę� ś�
objaśniających,
ę�1 1 2ś�
�� ��
Ć
�� ł�
b0
ę� ś�
Ć1
Ć
b =�
ę�b ś�  wektor estymatorów parametrów strukturalnych.
Ć
ę�b2 ś�
�� ��
1 0 0
�� ł�
1 1 1 1 4 2 3
�� ł� �� ł�
ę�1
ę�0 1 0 1ś� ę� 1 0ś� ę�2 2 2ś�
ś�
XT X =� �� =�
ę� ś� ę� ś�
1 0 1
ę� ś�
ę� ś� ś�
��0 0 1 2�� ę�1 1 2ś� ę� 2 5��
��3
�� ��
1
�� ł�
1 1 1 1 10
�� ł� �� ł�
ę�2ś�
ę�0 1 0 1ś� ę� ś� =� ę� ś�
XTy =� �� 6
ę� ś� ę� ś�
3
ę� ś�
ę� ś� ę�
��0 0 1 2�� ę�4ś� ��11ś�
��
�� ��
57
Autor opracowania: Marek Walesiak
1
A-�1 =� ATd  wzór na wyznaczenie macierzy odwrotnej
det A
1
(XT X)-�1 =� (XT X)d , gdzie d  dopełnienie
det(XT X)
dij =� (-�1)i+� j (XT X)ij , gdzie (XT X)ij  macierz po usunięciu i-tego wiersza i j-tej kolumny.
d11 d12 d13
�� ł�
ę�d d22 d23ś� ,
(XT X)d =� D =�
21
ę� ś�
ę� d32 d33��
ś�
��d31
D  macierz symetryczna (dij =� d ).
ji
2 2 2 2
d11 =� (-�1)1+�1 =� 6; d12 =� d21 =� (-�1)1+�2 =� -�4;
2 5 3 5
2 2 4 3
d13 =� d31 =� (-�1)1+�3 =� -�2; d22 =� (-�1)2+�2 =� 11
3 2 3 5
4 2 4 2
d23 =� d32 =� (-�1)2+�3 =� -�2; d33 =� (-�1)3+�3 =� 4.
3 2 2 2
58
Autor opracowania: Marek Walesiak
6 -� 4 -� 2
�� ł�
ę�
(XT X)d =� D =� 4 11 -� 2ś�
ę�-� ś�
ę� ś�
��-� 2 -� 2 4��
+� +� +� -� -� -�
4 2 3 4 2
2 2 2 2 2
3 2 5 3 2
det(XT X) = 4�� 2��5 +� 2�� 2��3+� 3�� 2�� 2 -� 3�� 2��3-� 4�� 2�� 2 -� 2�� 2��5
= 40 + 12 +12  18  16  20 = 10
6 -� 4 -� 2
�� ł�
1 1
ę�
(XT X)-�1 =� (XT X)d =� �� 4 11 -� 2ś�
ę�-� ś�
det(XT X) 10
ę�-� 2 -� 2 4ś�
�� ��
6 -� 4 -� 2 10 1,4
�� ł� �� ł� �� ł�
1
ę� ę� ś� ę�0,4ś�
Ć
b =� (XT X)-�1XTy = �� 4 11 -� 2ś� �� 6 =�
ę�-� ś� ę� ś� ę� ś�
10
ę� ś�
��-� 2 -� 2 4�� ę� �� ��1,2ś�
��11ś� ę� ��
v
t =�1,4 +� 0,4X1t +�1,2X2t
59
Autor opracowania: Marek Walesiak
Parametry struktury stochastycznej
Tabela 2. Tablica ANOVA w przypadku regresji wielorakiej
Suma kwadratów Liczba stopni Średnie kwadratowe odchyle-
y
ródło zmienności
odchyleń swobody nie
T
SSR =�
regresja (odchylenie regresyjne)
m =� 2
��(v
-�Y )2 =� 4,6
t
t=�1
SSR 4,6
T
MSR =� =� =� 2,3
T (m +�1)=
SSE =�
błąd losowy (odchylenie resztowe) m 2
��(Y -�v
)2 =� 0,4 4 -�-�(2 +�1) =�1
t
t=�1
SSE 0,4
MSE =� =� =� 0,4
SST =� SSR +� SSE
T -� (m +�1) 1
T -�1=
T
odchylenie całkowite
SST =�
4 -�1 =� 3
��(Y -�Y )2 =� 5
t
t=�1
60
Autor opracowania: Marek Walesiak
Yt Yt -�Y
t v
t et =� Yt -�v
t v
t -�Y
1 1 1,4  0,4  1,5  1,1
2 2 1,8 0,2  0,5  0,7
3 3 2,6 0,4 0,5 0,1
4 4 4,2  0,2 1,5 1,7
T T T
Y =� 2,5
��e =� 0 ��(v
-�Y )2 =� 5 ��(v
-�Y )2 =� 4,6
t t t
t=�1 t=�1 t=�1
T
2
��e =� 0,40
t
t=�1
v
1 =�1,4 +� 0,4��0 +�1,2��0 =�1,4 v
3 =�1,4 +� 0,4��0 +�1,2��1 =� 2,6
v
2 =�1,4 +� 0,4��1+�1,2��0 =�1,8 v
4 =�1,4 +� 0,4��1+�1,2�� 2 =� 4,2
61
Autor opracowania: Marek Walesiak
Lp. Parametr struktury stochastycznej
SSR SSE 4,6 0,4
2
R2 =� =� 1-� =� 1-�j� =� =� 1-� =� 1-� 0,08 =� 0,92
1
SST SST 5 5
SSE 0,4
2
j� =� =� =� 0,08
2
SST 5
3
R =� R2 =� 0,9592
SSE [T -�(m +�1)] T -�1 0,4 [4 -�(2 +�1)] 4 -�1
2
R =� 1-� =� 1-� (1-� R2) �� =�1-� =� 1-� (1-� 0,92) �� =� 0,76
4
SST (T -�1) T -� (m +�1) 5 (4 -�1) 4 -� (2 +�1)
-� 2l 2(m +�1) -� 2(-�1,07058) 2(2 +�1)
AIC =� +� =� +� =� 2,035
T T 4 4
5a
T ć� eTe ��
4 0,4
ć�1+�1,837877 +� ln ��
l =� -� �� =� -�1,07058
��
��1+� ln(2p� ) +� ln T �� =� -� 2 ��
��
2 4
Ł� ł�
Ł� ł�
AIC =� -�2l +� 2(m +�1) =� -�2(-�1,07058) +� 2(2 +�1) =� 8,141
5b
eTe 0,4
5c AIC =� �� e2(m+�1) T =� �� e2(2+�1) / 4 =� 0,448
T 4
-� 2l (m +�1)ln T -� 2(-�1,07058) (2 +�1)ln 4
BIC =� +� =� +� =� 1,575
6a
T T 4 4
62
Autor opracowania: Marek Walesiak
BIC =� -�2l +� (m +�1)ln T =� -�2(-�1,07058) +� (2 +�1)ln 4 =� 6,300
6b
eTe 0,4
(m+�1) T
6c BIC =� ��T =� �� 4(2+�1) / 4 =� 0,283
T 4
SSE 0,4
d�Ć =� =� =� 0,4 =� 0,633
7
T -� (m +�1) 4 -� (2 +�1)
eTe
d�Ć2 =� =� 0,4
8
T -� (m +�1)
63
Autor opracowania: Marek Walesiak
2
Ć
Pierwiastki z elementów głównej przekątnej macierzy var(b) =� d� (XT X)-�1 stanowią błędy esty-
matorów parametrów strukturalnych.
Ć Ć Ć Ć Ć
�� ł�
var(b0) cov(b0,b1) cov(b0,b2)
ę� ś�
2
Ć1,b0) Ć Ć Ć
Ć
Ć
var(b) =� d� (XT X)-�1 =� var(b1) cov(b1,b3)ś�
ę�cov(b
Ć Ć Ć Ć Ć
ę�cov(b2,b0) cov(b3,b1)
var(b2)ś�
�� ��
6 -� 4 -� 2
�� ł�
1
ę�
Ć
var(b) =� d�Ć2 (XT X)-�1 =� 0,4 �� �� 4 11 -� 2ś�
ę�-� ś�
10
ę� ś�
��-� 2 -� 2 4��
0,24 -� 0,16 -� 0,08
�� ł�
ę�
Ć
var(b) =� 0,16 0,44 -� 0,08ś�
ę�-� ś�
ę� ś�
��-� 0,08 -� 0,08 0,16��
v
t =� 1,4 +� 0,4 X1t +� 1,2 X2t
(0,49) (0,66) (0,40)
64
Autor opracowania: Marek Walesiak
v
t =� 1,4 +� 0,4 X1t +� 1,2 X2t
(0,49) (0,66) (0,40)
Interpretacja parametrów strukturalnych
Ć
b1 =� 0,4  wzrost (spadek) wartości zmiennej objaśniającej X1 o jednostkę spowoduje wzrost
(spadek) wartości zmiennej objaśnianej średnio o 0,4 jednostki, przy założeniu, że X2 się nie zmie-
ni,
Ć
b2 =� 1,2  wzrost (spadek) wartości zmiennej objaśniającej X2 o jednostkę spowoduje wzrost
(spadek) wartości zmiennej objaśnianej średnio o 1,2 jednostki, przy założeniu, że X1 się nie zmie-
ni,
Ć
b0 =� 1,4 (wyraz wolny)  oznacza zwykle początkowy poziom badanego zjawiska. W analizie
kosztów oznacza poziom kosztów stałych. Niekiedy wyraz wolny nie ma interpretacji ekonomicz-
nej.
65