Model regresji liniowej, KLASYCZ NY MODEL REGRESJI LINIOWEJ


KLASYCZNY MODEL REGRESJI LINIOWEJ

A SFORMUŁOWANIE MODELU

Wartości oczekiwane warunkowych rozkładów zmiennej losowej Y są liniową funkcją ustalonych wartości zmiennej losowej X:

0x01 graphic

przy czym wariancja zmiennej losowej Y w jej warunkowych rozkładach jest stała (niezależna od x):

0x01 graphic

Klasyczny model normalnej regresji liniowej

Warunkowe rozkłady zmiennej losowej Y są normalne:

Y dla X=x ma rozkład 0x01 graphic

B SFORMUŁOWANIE MODELUZałożenie

Ciąg par 0x01 graphic
jest n-elementową próbą losową z populacji dwuwymiarowej, stanowiącą podstawę estymacji parametrów zależności zmiennej Y od z góry ustalonych wartości zmiennej X.

Postać klasycznego modelu regresji liniowej

0x01 graphic
0x01 graphic

gdzie:1. 0x01 graphic
2. 0x01 graphic
3. 0x01 graphic
dla 0x01 graphic

Klasyczny model normalnej regresji liniowej

4. 0x01 graphic
0x01 graphic

WNIOSKI Z ZAŁOŻEŃ DOTYCZĄCYCH ROZKŁADU ZMIENNYCH LOSOWYCH 0x01 graphic

a)

- 0x01 graphic
0x01 graphic
funkcja regresji Y względem X jest liniowa

- wartości zmiennej

X są niezależne

Dowód:

0x01 graphic

b)0x01 graphic
wariancje w warunkowych rozkładach zmiennej Y są takie same

Dowód:0x01 graphic

c)- 0x01 graphic
dla 0x01 graphic
składniki losowe są nieskorelowane

d)

B ESTYMACJA PARAMETRÓW KLASYCZNEGO MODELU REGRESJI LINIOWEJ

B 1 ESTYMACJA PARAMETRÓW STRUKTURALNYCH MODELU:

i

z populacji dwuwymiarowej 0x01 graphic
pobieramy n-elementową próbę losową 0x01 graphic

wynikom próby (zbiorowi par wartości 0x01 graphic
), przyporządkowujemy zbiór n-punktów na płaszczyźnie o współrzędnych równym obserwowanym wartościom obu cech,

do danych z próby (do zbioru n-punktów na płaszczyźnie) tak dobieramy równanie linii prostej, aby jej wykres możliwie dobrze "pasował" do punktów reprezentujących na wykresie poszczególne obserwacje z próby:

0x01 graphic

różniczkujemy wyrażenie S względem i , otrzymując:

0x01 graphic

0x01 graphic

przyrównujemy pochodne do zera, zastępując jednocześnie przez 0x01 graphic
i przez 0x01 graphic
, otrzymując układ równań:

0x01 graphic

przekształcamy układ równań uzyskując tzw. układ równań normalnych:

0x01 graphic

rozwiązujemy układ równań względem 0x01 graphic
i 0x01 graphic
otrzymując:

0x01 graphic

0x01 graphic
,

0x01 graphic

B 2 ESTYMACJA PARAMETRÓW STOCHASTYCZNYCH MODELU: 0x01 graphic
i 0x01 graphic
1. Estymacja wariancji składników losowych 0x01 graphic
wariancja reszt:

0x01 graphic

odchylenie standardowe reszt:

0x01 graphic

2. Estymacja standardowych błędów oceny parametrów i

estymator standardowego błędu oceny parametru :

0x01 graphic

estymator standardowego błędu oceny parametru :

0x01 graphic

LINIOWA FUNKCJA REGRESJI WYZNACZANA

Z PRÓBY LOSOWEJ

Postać liniowej funkcji regresji wyznaczanej z próby losowej:

0x01 graphic

Reszty modelu regresji: 0x01 graphic

WŁASNOŚCI LINIOWEJ FUNKCJI REGRESJI

WYZNACZONEJ ZA POMOCĄ MNK

suma wartości teoretycznych zmiennej zależnej jest równa sumie empirycznych wartości tej zmiennej

0x01 graphic

suma reszt równa jest zeru

0x01 graphic

wykres funkcji regresji z próby przechodzi zawsze przez punkt 0 współrzędnych 0x01 graphic

0x01 graphic

DOKŁADNOŚĆ DOPASOWANIA PROSTEJ MNK

Równość wariancyjna

0x01 graphic

Współczynnik determinacji

0x01 graphic

0x01 graphic

Współczynnik indeterminacji

0x01 graphic

WNIOSKOWANIE W KLASYCZNYM MODELU NORMALNEJ REGRESJI LINIOWEJ

stawiamy hipotezę, że współczynnik regresji 0x01 graphic
przyjmuje określoną wartość liczbową 0x01 graphic
:

0x01 graphic

stawiamy hipotezę alternatywną:

0x01 graphic

jeżeli 0x01 graphic
jest prawdziwa, to statystyka:

0x01 graphic

ma rozkład t-Studenta z n-2 stopniami swobody,

przy danym z góry poziomie istotności 0x01 graphic
obszar krytyczny tej statystyki określony jest wzorem:

0x01 graphic

jeżeli wartość statystyki t oszacowana na podstawie próby losowej:

- należy do obszaru krytycznego 0x01 graphic
to 0x01 graphic
odrzucamy na korzyść 0x01 graphic
,

- nie należy do obszaru krytycznego 0x01 graphic
to stwierdzamy, że nie ma podstaw do odrzucenia 0x01 graphic
.

ESTYMACJA NA PODSTAWIE KLASYCZNEGO MODELU REGRESJI LINIOWEJ

dokonujemy estymacji, opierając się na klasycznym modelu regresji liniowej, warunkowej wartości oczekiwanej zmiennej losowej Y przy warunku, że X=x, tzn. estymacji 0x01 graphic
:

0x01 graphic

najlepszym nieobciążonym estymatorem liniowym warunkowej wartości oczekiwanej 0x01 graphic
jest zmienna losowa 0x01 graphic
o postaci:

0x01 graphic
,

wariancja estymatora 0x01 graphic
wyraża się wzorem:

0x01 graphic

estymatorem wariancji 0x01 graphic
jest 0x01 graphic
określona wzorem:

0x01 graphic

PREDYKCJA NA PODSTAWIE KLASYCZNEGO MODELU REGRESJI LINIOWEJ

dokonujemy estymacji, opierając się na klasycznym modelu regresji liniowej, pojedynczej wartości zmiennej losowej Y przy ustalonej wartości 0x01 graphic
:

0x01 graphic
,

najlepszym nieobciążonym estymatorem pojedynczej wartości zmiennej losowej 0x01 graphic
jest statystyka o postaci:

0x01 graphic

błąd predykcji pojedynczej realizacji zmiennej losowej 0x01 graphic
jest sumą dwóch nieskorelowanych błędów:

- błędu estymacji warunkowej wartości oczekiwanej zmiennej losowej Y,

- odchyleń pojedynczych realizacji zmiennej w rozkładzie warunkowym od średniej tego rozkładu,

wariancja błędu predykcji wyraża się wzorem:

0x01 graphic

estymator średniego błędu predykcji określamy jako:

0x01 graphic

STATYSTYCZNA WERYFIKACJA MODELU NORMALNEJ REGRESJI LINIOWEJ

stawiamy hipotezę, że regresja badanych zmiennych Y i X jest liniowa:

0x01 graphic

stawiamy hipotezę alternatywną:

0x01 graphic

na podstawie n-elementowej próby szacujemy MNK parametry 0x01 graphic
i 0x01 graphic
liniowego modelu regresji,

wyznaczamy na podstawie wyników próby ciąg wartości teoretycznych:

0x01 graphic
i=1,2,...,n

oraz ciąg wartości reszt:

0x01 graphic

porządkujemy zaobserwowane w próbie oraz odpowiadające im teoretyczne wartości zmiennej Y według rosnących wartości xi zmiennej niezależnej X,

oznaczamy reszty dodatnie 0x01 graphic
przez a, natomiast reszty ujemne 0x01 graphic
przez b otrzymując ciąg elementów a i b.

Definicja:

Serią nazywamy każdy podciąg złożony z elementów jednego typu.

jeżeli H0 jest prawdziwa to statystyka k będąca liczbą serii, która jest definiowana jako:

0x01 graphic
,

gdzie:

0x01 graphic
- liczba serii składających się odpowiednio z elementów a i elementów b,

ma rozkład serii zależny od liczebności elementów typu 0x01 graphic
i typu 0x01 graphic
występujących w ciągu

przy danym z góry poziomie istotności obszar krytyczny tej statystyki określony jest wzorem:

0x01 graphic

jeżeli wartość statystyki k oszacowana na podstawie próby losowej:

- należy do obszaru krytycznego 0x01 graphic
to odrzucamy H0 na korzyść H1,

- nie należy do obszaru krytycznego 0x01 graphic
to stwierdzamy, że

nie ma podstaw do odrzucenia H0.

KLASYCZNY MODEL REGRESJI LINIOWEJZ WIELOMA ZMIENNYMI NIEZALEŻNYMI

Założenia:

rozważamy zmienną losową (k + 1) - wymiarową

(Y, X1,X2,...,Xk)

dla opisu zależności zmiennej Y i zmiennych X1,X2,...,Xk właściwy jest klasyczny model regresji liniowej, jeżeli dla każdego układu wartości x1,x2,...,xk warunkowe rozkłady zmiennej Y mają średnie:

0x01 graphic

oraz wariancje

0x01 graphic

warunkowe rozkłady zmiennej Y mają rozkład normalny

obserwacje na zmiennej losowej Y dokonywane są przy ustalonych z góry wartościach zmiennych niezależnych

Sformułowanie modelu

0x01 graphic
0x01 graphic
,

0x01 graphic
,

0x01 graphic
,

0x01 graphic
, dla 0x01 graphic

ZMIENNE JAKOŚCIOWE W MODELU REGRESJI

Założenia do modelu przy wykorzystaniu zmiennych zero-jedynkowych:

zmienna Y zależy tylko od dwóch czynników: mierzalnej zmiennej X1 oraz zmiennej jakościowej o możliwych wariantach A, B i C

wariantom A, B, C cechy jakościowej przyporządkowujemy zmienne zero-jedynkowe X2, X3, X4 definiowane następująco:

1, jeśli obserwacja reprezentuje wariant A

0x01 graphic

0, w pozostałych przypadkach,

1, jeśli obserwacja reprezentuje wariant B

0x01 graphic

0, w pozostałych przypadkach,

1, jeśli obserwacja reprezentuje wariant C

0x01 graphic

0, w pozostałych przypadkach.

Postać modelu:

0x01 graphic
,

gdzie parametr 0x01 graphic
oznacza wyraz wolny, czyli 0x01 graphic
.

Uwarunkowania:

pomiędzy zmiennymi niezależnymi modelu zachodzi zależność liniowa postaci X2+X3+X4=X5

eliminujemy z modelu dowolną zmienną zero-jedynkową, zastępując ją przez kombinację liniową pozostałych zmiennych

parametry dla reprezentowanych w modelu wariantów zmiennej jakościowej mierzą wpływ tych wariantów odniesiony do wpływu wariantu pominiętego

wyraz wolny jest powiększony o wartość mierzącą wpływ pominiętego wariantu cechy jakościowej

SKORYGOWANY WSPÓŁCZYNNIK DETERMINACJI

0x01 graphic



Wyszukiwarka