STATYSTYKA MATEMATYCZNA (L)

Temat: Regresja wielokrotna. (7)

1. Regresja wielokrotna (wieloraka) - włączenie do równania regresji więcej niż jednej zmiennej objaśniającej i/lub poszukiwanie zależności nieliniowych

Model regresji liniowej zmiennej zależnej Y względem zbioru k zmiennych objaśniających X₁, X₂, …, X_k określony jest wzorem:

Y = β₀ + β₁X₁ + β₂X₂ + … + β_kX_k + ∈

gdzie: β₀ - wyraz wolny β_i, i=1…k - nachylenie powierzchni (hiperpłaszczyzny) regresji względem osi odpowiadającej zmiennej objaśniającej X_i

Ogólnym celem regresji wielorakiej jest ilościowe ujęcie związków pomiędzy wieloma zmiennymi niezależnymi (objaśniającymi) a zmienną zależną (kryterialną, objaśnianą).

Założenia modelu regresji wielorakiej (weryfikowane po utworzeniu modelu):

1. zależność liniowa pomiędzy zmiennymi niezależnymi Xi i zmienną zależną Y,

2. wartości zmiennych niezależnych są ustalone (nie są losowe),

3. rozkład normalny składnika losowego ∈, o średniej równej zero i stałej wariancji,

4. liczba obserwacji przekracza liczbę szacowanych parametrów modelu,

5. brak autokorelacji reszt (tzn. kolejne reszty nie zależą od poprzednich),

6. brak (silnej) zależności pomiędzy zmiennymi objaśniającymi: żadna zmienna objaśniająca Xi nie powinna być kombinacją liniową innych zmiennych objaśniających,

2. Przedział ufności dla współczynników regresji wielorakie

Parametry modelu są szacowane z próby losowej, tym samym ich oceny obarczone są pewnym błędem. Ocenę błędu standardowego cząstkowego, i-tego współczynnika regresji znajdziemy z wzoru:

$S_{\hat{b}i} = \sqrt{S_{y\backslash x_{1,}x_{2,},...,x_{k}}^{2}*\nu^{\text{ii}}}$ dla i=1,2,…,k

co pozwala w konsekwencji na zbudowanie przedziału ufności dla prawdziwej wartości tego współczynnika w populacji generalnej:

Przedział ufności dla stałej regresji w populacji generalnej znajdziemy ze wzoru:

Interpretacja zbudowanych zgodnie ze wzorami (1) i (2) przedziałów ufności dla cząstkowych współczynników regresji i stałej regresji jest standardowa: zbudowany przedział liczbowy pokrywa nieznany parametr z prawdopodobieństwem 1-α

3. Test istotności dla współczynników regresji wielorakiej.

Test F istotności modelu regresji

Test zachodzenie liniowego związku pomiędzy zmienną zależną Y i którąkolwiek zmienną objaśniającą Xi:

H₀ :  β₁ = β₂ = … = β_k = 0

H₁ :  nie wszystkie β_i(i=1,2,…,k) sa rowne zero

Przyjęcie H₀ oznacza, że nie zachodzi związek liniowy; analiza regresji kończy się.

Odrzucenie H₀ oznacza, że są statystyczne podstawy do przyjęcia, że zachodzi związek liniowy między zmienną zależną Y a co najmniej jedną zmienną objaśniającą Xi

Test istotności dla współczynników regresji wielorakiej

4. Metoda odrzucenia zmiennych.

Istota metody odrzucania polega na tym, że generuje się realizacje zmiennej losowej o pewnym, łatwym do uzyskania rozkładnie, a następnie - według zasady wynikającej z Twierdzenia 2 - odrzuca się niektóre z nich. Pozostałe posiadają pożądany rozkład.

Podstawą metody odrzucania jest poniższe twierdzenie:

Twierdzenie 2

5. Metoda dołączania zmiennych.

Model zawiera tylko stałą. Spośród możliwych zmiennych wybieramy tę, dla której p – wartość jest najmniejszą mniejszą od . Dodajemy tę zmienną do modelu. Powtarzamy tę czynność wykorzystując pozostałe możliwe zmienne.

Procedurę kończymy, gdy nie istnieje już zmienna, dla której p – wartość jest mniejsza od .