3. Przedstaw ogólną postać modelu regresji liniowej i wyjaśnij, co to znaczy, że dany parametr modelu regresji liniowej jest statystycznie istotny. Opisz procedurę sprawdzania istotności parametrów modelu regresji liniowej.

Regresja pozwala na opisanie związku pomiędzy zmiennymi objaśniającymi a zmienną objaśnianą, oszacowanie średniej wartości zmiennej objaśnianej w zależności od zmiennych objaśniających, a także na wybranie zmiennych istotnie wpływających na zmienną objaśnianą.

• Ogólna postać modelu regresji liniowej. W tym równaniu nieznane są parametry β₀ i β_1, nieznana jest także wartość ε, którą uważamy za zmienną losową.

część losowa/zakłócenia

Y = β₀ + β_{1 *} X + ε

część deterministyczna

Y~ X ( „ Y zależy od X ”, „ Y jest funkcją X”)

gdzie,

Y – zmienna objaśniana (zależna)

X – wektor p zmiennych objaśniających

β₀ i β₁ to tzw. parametry strukturalne modelu,

ε (epsilon) - czynnik ( składnik) losowy. Wyraża on wpływ wszystkich innych czynników, które oprócz zmiennej X mogą wpływać na wartość zmiennej Y a także wyraża on do pewnego stopnia nasza niepewność co do rzeczywistego kształtu powiązania pomiędzy Y i X.

• Co znaczy że dany parametr modelu regresji liniowej jest statystycznie istotny?

Istotność parametrów modelu

Parametrami modelu są liczby β₀ i β₁. Badanie istotności parametrów modelu zakłada osobne badanie poszczególnych parametrów. Przy analizie istotności parametrów modelu testuje się hipotezy o tym, że parametry te są różne od 0. Najważniejszym testem jest test, który sprawdzi czy parametr β₁ jest równy 0. Gdyby się okazało w procesie testowanie, że nie możemy odrzucić hipotezy o tym, że β₁ = 0 oznaczałoby to , że zmienna X nie jest powiązana z Y.

Analizując parametr β₁

H₀: β₁ = 0

H₁: β₁ ≠ 0

W przypadku, gdy odrzucamy hipotezę zerową. Parametr β₁ posiada jakąś wartość różną od zera,
a więc jest statystycznie istotny. β₁ stojąc przy zmiennej X( objaśniającej) wpływa na zmienną Y
( objaśnianą)

W przypadku gdy przyjmujemy hipotezę zerową. Parametr β₁ jest równy zero, a więc nie jest statystycznie istotny. β₁ stojąc przy zmiennej X(objaśniającej) nie wpływa na zmienną Y( objaśnianą). Zmienna X nie jest powiązana z Y.

• Przypomnienie zasad testowania hipotez

Hipotezy statystyczne to pewne przypuszczenia na temat populacji, w szczególności hipoteza, że β₁ = 0 odnosi się do modelu Y = β₀ + β_{1 *} X + ε , który opisuje zależność między X i Y w populacji.

Stawiamy zawsze dwie hipotezy: zerową ( H₀) i hipotezę alternatywną ( H₁)

H₀: β₁ = 0 vs. H₁: β₁ ≠ 0

brak powiązania między istnieje powiązanie między X i Y X i Y

Obie hipotezy dotyczą populacji

Z procesem testowania hipotez wiąże się pojęcie istotności testu α ( na ogół α = 0,05).

W programach komputerowych proces usuwania hipotez polega na wyznaczeniu p – wartości ( p – value) .

Wnioskowanie:

Im mniejsza p – wartość tym większe przeświadczeni, że H₀ trzeba odrzucić i przyjąć H₁

1. gdy p – value ≤ α, to odrzucamy H₀ i przyjmujemy H₁

2. gdy p – value > α, to uznajemy, nie ma podstaw do odrzucenia H₀ ( w uproszczeniu przyjmujemy , że H₀ jest prawdziwe).

Testowanie hipotezy o istotności parametru β₀:

1. określamy H₀ i H₁

H₀: β₀=0 vs H₁: β₀≠0

1. Określamy p – wartość

2. poziom istotności testu ( α=0,05)

gdy p – value ≤ α, to odrzucamy H₀ i przyjmujemy H₁

gdy p – value > α, to uznajemy, nie ma podstaw do odrzucenia

Testowanie hipotezy o istotności parametru β₁:

1. określamy H₀ i H₁

H₀: β₁=0 vs H₁: β₁≠0

1. Określamy p – wartość

2. poziom istotności testu ( α=0,05)

gdy p – value ≤ α, to odrzucamy H₀ i przyjmujemy H₁

gdy p – value > α, to uznajemy, nie ma podstaw do odrzucenia

Testowanie hipotezy o istotności parametru β₂:

1. określamy H₀ i H₁

H₀: β₂=0 vs H₁: β₂≠0

1. Określamy p – wartość

2. poziom istotności testu ( α=0,05)

gdy p – value ≤ α, to odrzucamy H₀ i przyjmujemy H₁

gdy p – value > α, to uznajemy, nie ma podstaw do odrzucenia

Interpretacja parametrów

β_{1 –} określa o ile jednostek wzrośnie (lub zmaleje, gdy β₁ < 0) wartość zmiennej Y, gdy wartość zmiennej X wzrośnie o jednostkę.

β₀ - na ogól nie jest interpretowane. Niekiedy można jednak go zinterpretować jako wartość Y w sytuacji gdy X = 0, ale dotycz to wyłącznie przypadków gdy ma sens mówienie o zerowej wartości cechy Y .

Przykład:

enzym Y ( z daszkiem) = 87,7 + 4,1 * enzym X

oszacowanie dla β₁

Interpretacja dla 4,1:

Wzrost enzymu X o jednostkę sugeruje wzrost enzymu Y o około 4,1.