Regresja liniowa – wprowadzenie

a) Model regresji liniowej ma postać:

gdzie

jest zmienną objaśnianą (zależną);

są zmiennymi

objaśniającymi (niezależnymi); natomiast

są parametrami modelu.

jest

składnikiem losowym modelu. Zakłada się, że

ma rozkład normalny oraz i

.

Parametry modelu podlegają szacowaniu (estymacji) na przykład przy pomocy
metody najmniejszych kwadratów, czyli

gdzie macierz

jest utworzona z kolumny złożonej z samych jedynek oraz kolumn

Często zakłada się również, że liczba obserwacji

powinna być większa od ilości

estymowanych parametrów

.

b) Współczynnik determinacji

informuje nas jaka część zmienności zmiennej zależnej

została wyjaśniona przez model. Współczynnik determinacji przyjmuje wartości z
przedziału

. Dopasowanie modelu jest tym lepsze, im wartość

jest bliższa

jedności. Współczynnik

można wyliczyć ze wzoru:

c) Test istotności poszczególnych współczynników regresji.



naprzeciw



Statystyka testowa ma postać:

, gdzie

oznacza

-ty element na przekątnej macierzy.



Obszar krytyczny ma postać:

Zadanie 1. Zaproponować model regresji liniowej dla zmiennej zależnej „ciśnienie
skurczowe”.

Przykładowy model regresji liniowej:

gdzie:



– zmienna zależna oznaczająca ciśnienie skurczowe;



– parametr związany z płcią;



– parametr związany z nadużywaniem papierosów;



– parametr związany z nadużywaniem alkoholu;



– parametr związany z wiekiem;



– błąd losowy.

Komendy, które należy wpisać w pakiecie R (pierwsza komenda wczytuje zbiór danych do
pakietu R; druga komenda powoduje utworzenie odpowiedniego modelu liniowego; trzecia
komenda wypisuje niezbędne wyniki):

data=read.table("C:/Users/student/Desktop/cisnienie1.txt",header=F,sep="\t")

lm1=lm(data[,1]~data[,3]+data[,4]+data[,5]+data[,6])

summary(lm1)

Należy pamiętać, że ścieżka do pliku z danymi dla każdego użytkownika może być różna!

Wyniki z program R:

Call:

lm(formula = data[, 1] ~ data[, 3] + data[, 4] + data[, 5] + data[, 6])

Residuals:

Min 1Q Median 3Q Max

-83.534 -14.638 5.919 21.832 70.376

Coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) 113.4688 8.1110 13.990 < 2e-16 ***

data[, 3] -2.5019 4.8261 -0.518 0.604761

data[, 4] 18.7965 4.8110 3.907 0.000129 ***

data[, 5] 29.4754 4.6495 6.339 1.57e-09 ***

data[, 6] 0.1148 0.1453 0.790 0.430685

---

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 31.39 on 195 degrees of freedom

Multiple R-squared: 0.2822, Adjusted R-squared: 0.2675

F-statistic: 19.17 on 4 and 195 DF, p-value: 2.594e-13

Interpretacja wyników:



Estymator dla parametru związanego z płcią (zmienna binarna) wynosi -2.5019. Skoro

w naszych danych mężczyzna zakodowany jest jako „1” natomiast kobieta jako „0”
oznacza to, że pacjent będący mężczyzną ma ciśnienie skurczowe o 2.5019 mmHg
mniejsze niż kobieta.



Estymator dla parametru związanego z nadużywaniem papierosów (zmienna binarna)

wynosi 18.7965 i oznacza to, że osoba paląca papierosy ma ciśnienie skurczowe
większe o 18.7965 mmHg.



Estymator dla parametru związanego z nadużywaniem alkoholu (zmienna binarna)

wynosi 29.4754 i oznacza to, że osoba pijąca alkohol ma ciśnienie skurczowe większe
o 24.4754 mmHg.



Estymator dla parametru związanego z wiekiem pacjenta (zmienna ciągła) wynosi

0.1148 i oznacza to, że wraz ze wzrostem wieku pacjenta o jeden rok jego ciśnienie
skurczowe wzrośnie o 0.1148 mmHg.



Wyraz wolny (Intercept) wynosi 113.4688 oznacza to, że jeśli wszystkie pozostałe
zmienne będą równe 0 (czyli pacjent będzie kobietą, nie palącą i nie pijącą zaraz po
urodzeniu) to wartość ciśnienia skurczowego pacjenta będzie wynosić 113.4688
mmHg.

Można teraz wyliczyć ciśnienie skurczowe dla pacjenta będącego mężczyzną, który nie pije
alkoholu, ale jest w wieku 40 lat i pali papierosy.

Zadanie 2. Jakie ciśnienie skurczowe ma mężczyzna nadużywający papierosów?

Aby wyliczyć jakie ciśnienie skurczowe ma mężczyzna nadużywający papierosów należy
rozważyć model liniowy:



– ciśnienie skurczowe



– parametr związany z płcią;



– parametr związany z nadużywaniem papierosów;



– składnik losowy modelu;

Komendy, które należy wpisać do pakietu R:

lm2=lm(data[,1]~data[,3]+data[,4])

summary(lm2)

Wyniki z program R:

Call:

lm(formula = data[, 1] ~ data[, 3] + data[, 4])

Residuals:

Min 1Q Median 3Q Max

-82.708 -22.062 6.115 27.980 63.465

Coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) 129.062 4.752 27.159 < 2e-16 ***

data[, 3] -2.527 5.270 -0.479 0.632

data[, 4] 27.646 5.025 5.501 1.16e-07 ***

---

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 34.31 on 197 degrees of freedom

Multiple R-squared: 0.1338, Adjusted R-squared: 0.125

F-statistic: 15.22 on 2 and 197 DF, p-value: 7.166e-07

Czyli ciśnienie skurczowe dla mężczyzny nadużywającego papierosów wynosi:

Zadanie 3. Wybrać model z największą wartością współczynnika

.

Model z największą wartością współczynnika

to model w którym użyjemy jako

zmiennych niezależnych: ciśnienie rozkurczowe, płeć, nadużywanie papierosów i alkoholu
oraz wiek. Wartość tego współczynnika dla powyższego modelu wynosi 0.8159.

Zadanie 4 i 5. Co to jest kryterium

? Zaproponować model z „najlepszą” wartością

kryterium

. (Jakie wartości dla tego kryterium są najlepsze?).

Kryterium Informacyjne Akaike (

) - kryterium wyboru pomiędzy modelami

statystycznymi o różnej liczbie zmiennych objaśniających. Wzór na kryterium

ma

postać:

gdzie

jest funkcją wiarygodności dla danego modelu, a liczbą parametrów w tym modelu.

Im mniejsze wartości kryterium

tym model jest lepiej dopasowany.

Aby sprawdzić w pakiecie R wartość kryterium

dla danego modelu liniowego należy

najpierw zaproponować model, np.:

lm4=lm(data[,1]~data[,3]+data[,4]+data[,5]+data[,6])

a następnie wywołać komendę:

AIC(lm4)

Wynik z pakietu R:

1953.136

Według kryterium

najlepszy model to taki w którym jedną zmienną niezależną jest

ciśnienie rozkurczowe.

Model wprowadzony do pakietu R:

AIC(lm(data[,1]~data[,2]))

Wartość kryterium

dla powyższego modelu:

1675.95

Zadanie 6. Czy współczynników regresji dla „najlepszego” modelu są statystycznie istotne?

Istotność współczynników regresji przeanalizujemy na podstawie modelu z zadania 1.
Wystarczy w tabeli zaznaczonej na czerwono umieć interpretować ostatnią kolumnę, w której
zawarte są p -wartości. Wybieramy poziom istotności

na którym będziemy testować

istotność współczynników regresji. Jeśli p - wartość jest mniejsza od założonego poziomu
istotności

to współczynnik regresji jest statystycznie istotny. W naszym przypadku

zakładamy, że

i dlatego istotne są: wyraz wolny oraz nadużywanie papierosów i

alkoholu. Dodatkowo przy współczynnikach istotnych pojawiają się pewne oznaczenia:



*** oznaczają współczynnik istotny od poziomu istotności 0.001



** oznaczają współczynnik istotny od poziomu istotności 0.01



* oznacza współczynnik istotny od poziomu istotności 0.05



oznacza współczynnik istotny od poziomu istotności 0.1

Zadanie 7. Sprawdzić, czy reszty mają rozkład normalny – funkcja w R: shapiro.test()?

Aby wyznaczyć reszty (czyli czynnik losowy

) należy skorzystać ze wzoru:

Aby „wydobyć” reszty z danego modelu należy wywołać komendę (w tym przypadku np. dla
modelu z zadania 2):

res=lm2$residuals

Następnie należy użyć testu Shapiro-Wilka przy pomocy komendy:

shapiro.test(res)

Shapiro-Wilk normality test

data: res

W = 0.9688, p-value = 0.0002027

Ponownie patrzymy na p – wartość. Zakładamy, że

i skoro p – wartość jest mniejsza

od

. To odrzucamy hipotezę zerową o normalności reszt.

Zadanie 8. Utworzyć nową kolumnę danych o nazwie „nadciśnienie” w taki sposób że,
człowiek mający problemy z ciśnieniem skurczowym lub rozkurczowym będzie przyjmował
wartości 1, a człowiek nie mający nadciśnienia wartości 0.

Łatwo dorobić nową kolumnę w Excelu. Aby zrobić to samo w R należy wpisać komendę
(pierwsza komenda tworzy zmienną „nadciśnienie” złożoną z samych zer o długości równej
ilości pacjentów w zbiorze data; następnie wykonuje się pętla for dla każdego z pacjentów i w
przypadku nadciśnienia przypisuje danemu pacjentowi jedynkę):

nadcisnienie=rep(0,dim(data)[1])

for (i in 1:dim(data)[1])

{

if (data[i,1]>140 && data[i,2]>100)

nadcisnienie[i]=1

}

Albo w prostszy sposób (pierwsza komenda dodaje nową siódmą kolumnę do zbioru danych
„data” złożoną z samych 0; druga komenda w przypadku nadciśnienia zamienia „0” na „1”):

data=cbind(data,rep(0,200))

data[data[,1]>140 & data[,2]>100,7]=1

Regresja logistyczna – wprowadzenie

a) Często do czynienia mamy z obserwacjami, które można podzielić na dwie kategorie

(np. chory lub zdrowy). Zmienne zależne

mogą być wtedy

interpretowane jako sukces lub porażka. Wówczas Zmienne

nazywane są

zmiennymi binarnymi i przyjmuje się, że mają one rozkład Bernoulliego B(1,p

i

), gdzie

p

i

można interpretować jako prawdopodobieństwo sukcesu.

b) Model regresji logistycznej:

gdzie

są zmiennymi objaśniającymi, natomiast

są

parametrami modelu.
Zachodzi również związek:

Zadanie 9. Utworzyć model regresji logistycznej dla zmiennej „nadciśnienie” i sprawdzić czy
bardziej prawdopodobne jest że nadciśnienie ma kobieta nadużywająca alkoholu i papierosów
czy mężczyzna nadużywający obydwu używek.

Model regresji logistycznej w R wywołuje się przy pomocy komendy

glm(nadcisnienie~data[,3]+data[,4]+data[,5])

lub jeżeli utworzyliśmy siódmą kolumnę w zadaniu 8 to używamy komendy

glm(data[,7]~data[,3]+data[,4]+data[,5])

Uzyskane wyniki:

Call: glm(formula = nadcisnienie ~ data[, 3] + data[, 4] + data[, 5])

Coefficients:

(Intercept) data[, 3] data[, 4] data[, 5]

0.12764 -0.07858 0.27527 0.50563

Degrees of Freedom: 199 Total (i.e. Null); 196 Residual

Null Deviance: 48.38

Residual Deviance: 28.14 AIC: 185.3

Korzystamy ze wzoru:

Dla mężczyzn mamy:

Dla kobiet mamy:

Czyli większe szanse na nadciśnienie mają kobiety.