Model regresji wielorakiej: y = a + Ä…1 1i 2i
x + Ä…2
x + & Ä…n ni n
x + µ
i 0
df  liczba stopni swobody (degree of freedom): liczba obserwacji minus liczba zmiennych
objaśniających minus jeden, df = n  (k+1)
Założenia klasycznej MNK (metody najmniejszych kwadratów):
dot. zmiennych i specyfikacji modelu:
" model jest liniowy w stosunku do parametrów
" zmienne egzogeniczne (objaśniające) nie są zmiennymi losowymi
" zmienne egzogeniczne nie są współliniowe (żadna z nich nie jest kombinacją pozostałych)
" zmienne egzogeniczne nie są skorelowane ze składnikiem losowym (skoro nie są losowe
to nie powinny być skorelowane ze składnikiem losowym)
" liczba obserwacji jest większa od liczby parametrów strukturalnych
dot. składnika losowego:
" wartość oczekiwana składnika losowego jest równa zero  średni wpływ nie
uwzględnionych w modelu zmiennych, dla każdej zmiennej X jest równy zero
" wariancja składnika losowego jest skończona i stała  założenie często nie spełnione dla
danych przekrojowych
" brak autokorelacji składnika losowego  należy sprawdzać dla szeregów czasowych, w
danych przekrojowych to założenie jest zawsze spełnione
Własności estymatorów MNK. Na mocy twierdzenia Gaussa  Markowa estymator KMNK
jest estymatorem:
" liniowym
" zgodnym (zbieżnym stochastycznie do ą)
" nieobciążonym: E(a) = ą
" najefektywniejszym (o najmniejszej wariancji) w kl. linio. i nieobciążonych estymat.
Weryfikacja statystyczna:
" interpretacja współczynnika determinacji i/lub kryteriów informacyjnych
" test stopnia współliniowości zmiennych objaśniających
" testy istotności: (a) podzbioru zmiennych objaśniających (b) poszczególnych
zmiennych objaśniających
" testy własności składnika losowego modelu: (a) autokorelacji (b)
heteroskedastyczności (c) normalności rozkładu
Weryfikacja hipotez. Jeśli wynik próby należy do obszaru krytycznego hipoteza zerowa H0
jest odrzucana. BÅ‚Ä…d I rodzaju: odrzucenie poprawnej hipotezy zerowej BÅ‚Ä…d II rodzaju:
przyjęcie hipotezy H0, która jest fałszywa
Test istotności zmiennej: H0  badana zmienna nieistotna statystycznie; H1  zmienna
istotna statystycznie; empiryczny poziom istotności wynikający z przyjętej konwencji p-
value = 0,05 lub 0,01
Względne błędy szacunku: błąd standardowy współczynnika / wartość współczynnika
(dopuszczalne są błędy względne < 50%)
Kryterium informacyjne Akaike'a (AIC) Schwarza (SIC)  miara 'odległości' danego modelu
od modelu idealnego (prawdziwego), im niższe tym lepiej
Klasyczny współczynnik determinacji (R2)  miara dopasowania obserwacji należących do
próby, interpretowalny gdy: (a) zależności między objaśnianą a objaśniającymi jest liniowa
(b) parametry oszacowane MNK z wyrazem wolnym
Skorygowany R2  kara za dodawania zbędnych zmiennych, w małych modelach (df<30)
bardziej wiarygodny niż wersja klasyczna
Typowe błędy specyfikacji:
" błędna postać funkcyjna (np. liniowa zamiast nieliniowej)
" pominięcie kluczowych zmiennych objaśniających (=> obciążone estymatory MNK)
" uwzględnienie zbędnych zmiennych (=> nieefektywne estymatory)
" błędnie dobrana struktura dynamiczna
" błędy pomiaru zmiennych
Z dwojga złego lepiej mieć estymatory nieefektywne niż obciążone.
Test RESET (Regression Specification Error Test). Ogólny test wykrywający wiele błędów
specyfikacji modelu m.in.: (a) pominięte zmienne objaśniające (b) korelację między zmienną
objaśniającą a składnikiem losowym (c) błędną postać funkcyjną
1. utworzenie modelu pomocniczego: model podstawowy + kolejne potęgi zmiennej
2 3
objaśnianej (przeważnie y oraz y . Wyznaczenie R2 modelu pomocniczego.
i i
2. Hipoteza zerowa: współczynniki przy dodatkowych zmiennych są równe zero, model
liniowy, hipoteza alternatywa: min. 1 wsp. różny od zera  model nieliniowy
Test Davidsona  MacKinnona. Sprawdzenie kompletności modelu, czy konkurencyjny
model nie tłumaczy lepiej zjawiska. Dwa bliz
niacze modele o odmiennych zbiorach
zmiennych. Y z pierwszego modelu dodawane jest jako zmien. objaśniająca do 2 modelu (i
vice versa), jeżeli w nowym modelu Y nieistotne  model pierwotny kompletny
Test pominiętych zmiennych. Sprawdzenie czy któraś ze zmiennych objaśniających nie
powinna zostać usunięta, weryfikacja statystycznej istotności zbioru wątpliwych zmiennych,
wskazówki, że kluczowa zmienna objaśniająca została pominięta: 'podejrzane' znaki
parametrów, słabe dopasowanie modelu do danych empirycznych
Metodologia od ogólnego do szczególnego. Zaczynamy od modelu z nadmiarem
parametrów, w kolejnych etapach model upraszczany na podstawie testów istotności.
Zmienne jakościowe. Zastosowanie: (a) cechy jednostek (b) wystąpienie wydarzeń
nietypowych (c) sezonowość Postać: (a) binarna (b) uporządkowana klasyfikacja (c)
nieuporzÄ…dkowana klasyfikacja. Sytuacja komplikuje siÄ™ przy autokorelacji i
heteroskedastyczności składnika losowego. Gdy więcej zmien. jakościowych należy
rozważyć uwzględnienie ich łącznego efektu na zmienną endogenną.
LMP  liniowy model prawdopodobieństwa: zastosowanie MNK do modelu regresji
liniowej. Zalety: łatwość estymacji, bezpośrednia interpretacja. Wady: wartości teoretyczne
mogą wykraczać poza przedział (0,1), błędy prognoz mogą być bardzo duże
Zmienne ukryte. Yi* > 0 => y = 1 oraz zero w przeciwnym przypadku. Składnik losowy ma
rozkład normalny  model probitowy; składnik losowy ma rozkład logistyczny  m. logitowy
Własności logit/probit: jeżeli x należy (od minus nieskończoność do plus nieskończoność)
to 0=< y =< 1. Dystrybuanty rozkładu normalnego i logistycznego są bardzo do siebie
podobne. Częściej stosowany model logitowy. Skomplikowana interpretacja. Bezpośrednia
interpretacja znaku: znak + - zwiększenie odpowiadającej mu zmiennej zwiększa
prawdopodobieństwo zjawiska opisanego przez zmienną objaśnianą. Wyniki dla modelu
logit i probit są porównywalne po pomnożeniu parametrów logitu przez pierwiastek z
trzech / pi. Aby porównać oceny parametrów LPM z ocenami parametrów probitu należy je
pomnożyć przez 2,5 a od wyrazu wolnego odjąć 1,25.
Ocena jakości modeli logit/probit: (a) współczynnik pseudo-R^2, (b) wartość statystyki
testu ilorazu wiarygodności (c) tablica trafności o wymiarach 2x2 z liczbą przypadków
trafionych / nietrafionych
Współliniowość  liniowa zależność (korelacja) pomiędzy zmiennymi objaśniającymi. Cecha
danych nie modelu. Skutki: (a) utrudniona wiarygodna interpretacja ocen poszczególnych
parametrów (b) zawyżone oceny średnich błędów szacunku parametrów
CIW (z ang. VIF  variance inflation factor)  porównanie sytuacji faktycznej z idealną, w
2
której wszystkie zmienne objaÅ›niajÄ…ce sÄ… ze sobÄ… nieskorelowane: VIF (²^ ) = 1 / (1  R )
j i
1. model pomocniczy: dana zmienna objaśniana przez pozostałe. 2. użyć otrzymany R^2.
Brak współliniowości CIW = 1, CIW > 5 => R^2 > 80  silne zakłócenia współliniowością
Radzenie sobie ze współliniowością: (a) regresja grzbietowa  dodanie stałej do wariancji
zmiennych (b) regresja względem głównych składowych  przekształcenie zmiennych
objaśniających na zbiór zmiennych nieskorelowanych (c) usuwanie zmiennych
powodujących występowanie współliniowości (d) zastępowanie zmiennymi zastępczymi o
podobnej info. merytorycznej (ale słabej skorelowanymi) (e) zwiększenie próby
Heteroskedastyczność  duża rozbieżność pomiędzy najmniejszymi i największymi
obserwowanymi wartościami, najczęściej dot. danych przekrojowych, duży rozrzut reszt w
oszacowanym modelu, wariancja składnika losowego nie stała dla wszystkich obserwacji.
Skutki: (a) estymatory nieefektywne (ale i nieobciążone) (b) oceny wariancji estymatorów
obciążone (c) odchylenia standardowe nie są wiarygodne. Test hetero może wyłapać
błędną postać funkcyjną lub pominięte zmienne objaśniające
Test White'a. Hipoteza zerowa: homoskedastyczność; alternatywna: heteroskedastyczność.
Procedura: 1. Model MNK, wyznaczenie reszt 2. model pomocniczy: zmienna objaśniana
kwadrat MNK-reszt (ej2) objaśniające: objaśniające w modelu podstawowym + ich kwadraty
+ ich iloczyny. Na podstawie Chi^2 decyzja czy odrzucić H0 jeżeli poziom istotności <0,05
odrzucamy.
Eliminacja heteroskedastyczności: ważona MNK, użycie deflatorów, transformacja do
postaci logarytmicznej, estymatory HAC uwzględniające autokorelację i heteroskedstyczn.
Normalność rozkładu składnika losowego: (a) nie jest niezbędna do uzyskania estymatorów
o pożądanych własnościach (b) rozkład normalny składnika losowego ma duże znaczenie
przy weryfikacji modelu ekonometrycznego. Test Jarque  Bery, H-zero: rozkł. normalny
Autokorelacja: korelacja między składnikami losowymi modelu; autokorelacja między et i
et-k jest rzędu k i oznaczana jest przez pk ; stanowi złamanie założenia o sferyczności
składnika losowego  podstawy twierdzenia Gaussa  Markowa.
Przyczyny autokorelacji: (a) natura procesów gospodarczych: np. długofalowe skutki decyzji
gospodarczych, inercja procesów gosp. (b) błędy specyfikacji modelu: (b1) niepoprawna
postać analityczna (b2) niepełny zestaw zmiennych objaśniających (b3) niewłaściwa
struktura dynamiczna.
Skutki autokorelacji: (a) w przypadku braku opóz
nień: nieefektywność estymatorów (b) przy
opóz
nieniach zmiennej objaśnianej: estymatory MNK nie są zgodne
Test DW (Durbina  Watsona). Wady: (a) tylko modele z wyrazem wolnym, bez opóz
nień
zmiennej objaśnianej, z normalnym rozkładem składnika losowego (b) nie pozwala wykryć
autokorelacji rzędu wyższego niż 1 (c) nie zawsze prowadzi do jednoznacznego wyniku.
H-zero: p = 0 (brak autokorelacji) H-1: p<0 auto ujemna v p>0  auto dodatnia
(wartość DW  decyzja) 0  p = 1; (0, DL) autokorelacja dodatnia; (DL; DU)  test nie działa;
(DU, 2) brak autokorelacji; 2  p = 0; (2, 4-DU)  brak autokorelacji; (DU, DL) nie działa; (4-
DL, 4)  autokorelacja ujemna; 4  p = -1.
Test LM (Lagrange multiplier), mnożnika Lagrange'a. Brak ograniczeń z testu DW. Hipoteza
zerowa: brak autokorelacji, alternatywna  występowanie. Gdy Chi^2 < poziom istotności 
odrzucamy hipotezę zerową => model z autokorelacją. Przeprowadzanie: 1. wyjściowe
równanie przy pomocy MNK + wyznaczenie jego reszt 2. model pomocniczy: model z pkt.
1 + p dodatkowych zmiennych będących opóz
nieniami oszacowanych reszt. Niemożliwość
zastosowania w małych próbach (n < 30).
Eliminacja autokorelacji: (a) korekta metody estymacji parametrów (b) zmiana postaci
analitycznej (c) HAC: estymatory błędy standardowego uwzgl. autokorelację i heterosk.
Szeregi czasowe. Wyróżnia się następujące składowe: przeciętny poziom (M),
długookresowy trend (T), wahania sezonowe (S), wahania cykliczne (C), zm. nieregularne (I)
yt = M + T + S + C + I
Przyczyny opóz
nień: (a) psychologiczne: oczekiwania, przyzwyczajenia, inercja instytucji
publicznych (b) technologiczne: koszty dostosowań (c) instyt. - prawne: zobow., umowy
Przyczynowość w sensie Grangera. X jest przyczyną dla Y jeżeli X pomaga prognozować Y.
Nie oznacza to, że Y jest skutkiem lub efektem X, a jedynie: X poprzedza Y.
Stacjonarność  średnia i wariancja stałe i niezależne od upływu czasu
Niestacjonoarność  w miarę systematyczna zmiana wraz z upływem czasu np. trend
rosnący. Skutki  regresja pozorna: (a) zawyżanie współczynnika determinacji (b) zawyżanie
wartości statystyk k-Studenta i obciążenie innych statystyk wyznaczanych na podstawie
odchyleń standardowych. Większość szeregów czasowych jest niestacjonarna.
Test DF (Dickeya  Fullera) z wyrazem wolnym lub bez / z trendem lub bez.
"yt = Ä… + ´yt-1 + µt H-zero: ´ = 0  szereg niestacjonarny (z pierwiastkiem jednostkowym);
H-jeden: ´ < 0 szereg stacjonarny
Statystyka testu pierwiastka jednostkowego DF = ´ / bÅ‚Ä…d std. ´. RozstrzygniÄ™cie testu przy
pomocy wartości krytycznych najczęściej w wersji ADF, uwzględniającej autokorelację
składnika losowego w modelu testowym.
Stopień integracji: ilość iteracji po której z szeregu niestacjonarnego otrzymamy szereg
stacjonarny.
Integracja sezonowa: obliczanie różnic dotyczy obserwacji oddalonych o s okresów, gdzie s
jest dÅ‚ugoÅ›ciÄ… cyklu (s = 4  kwartaÅ‚y, s = 12 miesiÄ…ce) wówczas: "y = Ä… + ´y + µ Oba
t t-s t
rodzaje integracji mogą występować jednocześnie.
Kointegracja  dwa lub więcej szeregi są niestacjonarne i zintegrowane w tym samym
stopniu, ale ich liniowa kombinacja jest stacjonarna. WystÄ…pienie relacji kointegrujÄ…cej
sugeruje obecność długookresowej relacji równowagi (braku tendencji do zmiany) np.
płace i ceny, konsumpcja i oszczędności, deficyt budżetowy i inflacja, ceny akcji i dywiden.
Test CRDW / kointegracji. Test niestacjonarności reszt  potencjalnej regresji kointegrującej:
Yt = ²0 + ²1 Xt + µt H-zero: pierwiastek jednostkowy w resztach  niestacjonraność reszt;
odrzucane gdy CRDW większa niż wartość krytyczna (ok. 0,5)
W przypadku podstaw do odrzucenia hipotezy zerowej: istnieje stacjonarna kombinacja
niestacjonarnych zmiennych  odpowiednia strategia modelowania: model korekty błędem.
Metoda Engle'a  Grangera. Prostota zastosowania. Wady: (a) niska moc testów pierwiastka
jednostkowego w małych próbach (b) asymetryczne traktowanie zmiennych (b) brak
możliwości weryfikacji hipotez na temat relacji kointegrującej.
NOTATKI NIE UWZGL
DNIAJ
: testu istotności zmiennej (nie chodzi tu o interpretację p-
value t-Studenta), dokładnego omówienia wykorzystania HAC  estymatorów
nieobciążonych (generalnie chodzi o to, że są stosowane gdy autokorelacja lub
heteroskedastyczności wynika z samej natury procesów gospodarczych: tzn brak
współliniowości, RESET na plus itp.), testu Beuschera (coś tam) na autokorelację; oraz
pewnie kilku innych mniej ważnych aspektów
H-zero testu Walda mówi, że żadna zmienna nie jest istotna: zaprzeczenie  przynajmniej
jedna jest (a nie, że wszystkie są)  negacja założenia z kwantyfikatorem ogólnym jest
ekwiwalentna do kwantyfikatora egzystenacalnego + negacji założenia tzn. wystarczy
znalez
ć jeden kontrprzykład by całe założenie było nieprawdziwe.
POWODZENIA na egz.!!! pani Tomczyk jest naprawdÄ™ w porzÄ…dku osobÄ…!!!
Nazwa testu Co testuje Hipoteza zerowa / Sposób Uwagi
alternatywna liczenia
t-Studenta Istotność Nieistotna ?? Błąd I rodzaju: odrzucenie hipotezy
danej (współczynnik = prawdziwej;
zmiennej 0) / istotna (różny błąd II rodzaju: nieodrzucenie
od zera) fałszywej; <0,05 zmienna istotna
Walda Istotność Żadna zmienna (R^2)/k : (1- F(k, n  (k+1)) n  ilość obserwacji,
statystyka F modelu nie jest istotna / R^2)(n-k-1) k  ilość zmiennych objaśniających
chociaż 1 jest <0,05 któraś ze zmiennych istotna
Chi^2 Rozkład Normalny ?? <0,05 brak rozkładu normalnego
reszt rozkład reszt / nie
normalny rozkład
reszt
RESET Adekwatn adekwatność / Dodanie
Jeżeli współczynnik przy y różny od
t
ość postaci brak kwadratu
zera  zła postać funkcyjna; testuje
funkcyjnej, adekwatności oraz
również pominięte zmienne objaś.,
sześcianu y
t
korelację między zm. o-cą a
składnikiem losowym <0,05 z
le
DW Durbina Autokorela P = 0  brak ?? Interpretowany na podstawie tablic.
 Watsona cjÄ™ autokorelacji / Wady: tylko modele z wyr. wolnym,
p < 0  ujemna, bez opóz
nień, z norm. rozkładem skł.
p > 0  dodatnia losowego, nie wykrywanie a-k rzędu
> 1, nie zawsze rozstrzyga
DF (Dickeya niestacjona niestatcjonarny z DF = ´ / bÅ‚Ä…d. stand. ´
"yt = Ä… +
 Fullera) rność pierw jedn ´ = 0 /
´yt-1 + µt rozstrzygajÄ… wartoÅ›ci krytyczne
stacjonarny ´ < 0 najczęściej w wersji ADF
LM Autokorela Brak Niemożność stosowania w przypadku małych prób.
cjÄ™ autokorelacji / 1. model MNK, wyznaczenie reszt 2. dodanie p 
występowanie dodatkowych zmiennych będących opóz
nieniami
autokorelacji oszacowanych reszt. Rozstrzyga Chi^2 (<0,05 -
autokorelacja)
VIF (en) Współlinio CIW = 1  brak VIF (²^ ) = 1. dla każdej objaÅ›niajÄ…cej  model,
j
2
CIW (pl) wość CIW > 5  1 / (1  R ) w którym jest objaśnianą. 2. z
i
poważnie dla każdej otrzymanego współczynnika
zakłócająca zmiennej obliczyć CIW
interpretacjÄ™
White'a Heteroske Homoskedastycz 1. Model MNK, wyznaczenie reszt 2. zmienna
dastycznoś ność / objaśniana kwadrat reszt z MNK wobec zmiennych
ć heteroskedastycz objaśniających, ich kwadratów oraz iloczynów.
ność Decyzja na podstawie Chi^2 (<0,05 
heteroskedastyczność)
CRDW / Kointegrac Reszty
Yt = ²0 + ²1 Gdy CRDW > od ok. 0,5  istnieje
kointegracji ji niestacjonarne / stacjonarna kombinacja dwóch
Xt + µt
kombinacja zmiennych niestacjonarnych
dwóch
zmiennych
stacjonarna