Regresja pozwala na opisanie związku pomiędzy zmiennymi objaśniającymi a zmienną objaśnianą,
oszacowanie średniej wartości zmiennej objaśnianej w zależności od zmiennych objaśniających, a
także na wybranie zmiennych istotnie wpływających na zmienną objaśnianą.
" Ogólna postać modelu regresji liniowej. W tym równaniu nieznane sÄ… parametry ²0 i ²1,
nieznana jest także wartość µ, którÄ… uważamy za zmiennÄ… losowÄ….
część losowa/zakłócenia
Y = ²0 + ²1 * X + µ
część deterministyczna
Y~ X (  Y zależy od X  ,  Y jest funkcją X )
gdzie,
Y  zmienna objaśniana (zależna)
X  wektor p zmiennych objaśniających
²0 i ²1 to tzw. parametry strukturalne modelu,
µ (epsilon) - czynnik ( skÅ‚adnik) losowy. Wyraża on wpÅ‚yw wszystkich innych czynników, które
oprócz zmiennej X mogą wpływać na wartość zmiennej Y a także wyraża on do pewnego stopnia
nasza niepewność co do rzeczywistego kształtu powiązania pomiędzy Y i X.
" Co znaczy że dany parametr modelu regresji liniowej jest statystycznie istotny?
Istotność parametrów modelu
Parametrami modelu sÄ… liczby ²0 i ²1. Badanie istotnoÅ›ci parametrów modelu zakÅ‚ada osobne badanie
poszczególnych parametrów. Przy analizie istotności parametrów modelu testuje się hipotezy o tym,
że parametry te sÄ… różne od 0. Najważniejszym testem jest test, który sprawdzi czy parametr ²1 jest
równy 0. Gdyby siÄ™ okazaÅ‚o w procesie testowanie, że nie możemy odrzucić hipotezy o tym, że ²1 = 0
oznaczałoby to , że zmienna X nie jest powiązana z Y.
AnalizujÄ…c parametr ²1
H0: ²1 = 0
H1: ²1 `" 0
W przypadku, gdy odrzucamy hipotezÄ™ zerowÄ…. Parametr ²1 posiada jakÄ…Å› wartość różnÄ… od zera,
a wiÄ™c jest statystycznie istotny. ²1 stojÄ…c przy zmiennej X( objaÅ›niajÄ…cej) wpÅ‚ywa na zmiennÄ… Y
( objaśnianą)
W przypadku gdy przyjmujemy hipotezÄ™ zerowÄ…. Parametr ²1 jest równy zero, a wiÄ™c nie jest
statystycznie istotny. ²1 stojÄ…c przy zmiennej X(objaÅ›niajÄ…cej) nie wpÅ‚ywa na zmiennÄ… Y( objaÅ›nianÄ…).
Zmienna X nie jest powiÄ…zana z Y.
" Przypomnienie zasad testowania hipotez
Hipotezy statystyczne to pewne przypuszczenia na temat populacji, w szczególnoÅ›ci hipoteza, że ²1 =
0 odnosi siÄ™ do modelu Y = ²0 + ²1 * X + µ , który opisuje zależność miÄ™dzy X i Y w populacji.
Stawiamy zawsze dwie hipotezy: zerowÄ… ( H0) i hipotezÄ™ alternatywnÄ… ( H1)
H0: ²1 = 0 vs. H1: ²1 `" 0
 brak powiązania między istnieje powiązanie między
X i Y X i Y
Obie hipotezy dotyczÄ… populacji
Z procesem testowania hipotez wiąże się pojęcie istotności testu ą ( na ogół ą = 0,05).
W programach komputerowych proces usuwania hipotez polega na wyznaczeniu p  wartości ( p 
value) .
Wnioskowanie:
Im mniejsza p  wartość tym większe przeświadczeni, że H0 trzeba odrzucić i przyjąć H1
1) gdy p  value d" Ä…, to odrzucamy H0 i przyjmujemy H1
2) gdy p  value > Ä…, to uznajemy, nie ma podstaw do odrzucenia H0 ( w uproszczeniu
przyjmujemy , że H0 jest prawdziwe).
Testowanie hipotezy o istotnoÅ›ci parametru ²0:
1. określamy H0 i H1
H0: ²0=0 vs H1: ²0`"0
2. Określamy p  wartość
3. poziom istotności testu ( ą=0,05)
gdy p  value d" Ä…, to odrzucamy H0 i przyjmujemy H1
gdy p  value > Ä…, to uznajemy, nie ma podstaw do odrzucenia
Testowanie hipotezy o istotnoÅ›ci parametru ²1:
1. określamy H0 i H1
H0: ²1=0 vs H1: ²1`"0
2. Określamy p  wartość
3. poziom istotności testu ( ą=0,05)
gdy p  value d" Ä…, to odrzucamy H0 i przyjmujemy H1
gdy p  value > Ä…, to uznajemy, nie ma podstaw do odrzucenia
Testowanie hipotezy o istotnoÅ›ci parametru ²2:
1. określamy H0 i H1
H0: ²2=0 vs H1: ²2`"0
2. Określamy p  wartość
3. poziom istotności testu ( ą=0,05)
gdy p  value d" Ä…, to odrzucamy H0 i przyjmujemy H1
gdy p  value > Ä…, to uznajemy, nie ma podstaw do odrzucenia
Interpretacja parametrów
²1  okreÅ›la o ile jednostek wzroÅ›nie (lub zmaleje, gdy ²1 < 0) wartość zmiennej Y, gdy wartość
zmiennej X wzrośnie o jednostkę.
²0 - na ogól nie jest interpretowane. Niekiedy można jednak go zinterpretować jako wartość Y w
sytuacji gdy X = 0, ale dotycz to wyłącznie przypadków gdy ma sens mówienie o zerowej wartości
cechy Y .
Przykład:
enzym Y ( z daszkiem) = 87,7 + 4,1 * enzym X
oszacowanie dla ²1
Interpretacja dla 4,1:
Wzrost enzymu X o jednostkę sugeruje wzrost enzymu Y o około 4,1.