Regresja

Regresja

wielozmiennowa

wielozmiennowa

spotkanie 10

spotkanie 10

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Poruszane zagadnienia

Poruszane zagadnienia



Regresja wielokrotna

Regresja wielokrotna

•

Interpretacja R i R

Interpretacja R i R

2

2

•

Problem skorelowanych predktorów

Problem skorelowanych predktorów



korelacja cząstkowa i semicząstkowa

korelacja cząstkowa i semicząstkowa

•

Metody wprowadzania zmiennych do

Metody wprowadzania zmiennych do

analizy regresji

analizy regresji

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Sprawdzamy założenia do

Sprawdzamy założenia do

analizy regresji

analizy regresji



Zmienna zależna – mierzona na skali

Zmienna zależna – mierzona na skali

ilościowej

ilościowej



Predyktory – ilościowe lub kategorialne

Predyktory – ilościowe lub kategorialne

(0,1)

(0,1)



Liniowy związek między predyktorem a

Liniowy związek między predyktorem a

zmienną zależną (wykresy rozrzutu)

zmienną zależną (wykresy rozrzutu)



Brak silnych korelacji między predyktorami

Brak silnych korelacji między predyktorami

•

Silna korelacja między predyktorami – podobną

Silna korelacja między predyktorami – podobną

część wariancji będą wyjaśniać w zmiennej

część wariancji będą wyjaśniać w zmiennej

zależnej - będą się znosić w modelu

zależnej - będą się znosić w modelu

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Regresja wielokrotna

Regresja wielokrotna



Rozszerzenie jednozmiennowej

Rozszerzenie jednozmiennowej

•

Poszukujemy liniowej kombinacji predyktorów,

Poszukujemy liniowej kombinacji predyktorów,

która najsilniej koreluje ze zmienną wyjaśnianą,

która najsilniej koreluje ze zmienną wyjaśnianą,

wyjaśnia jak najwięcej jej zmienności

wyjaśnia jak najwięcej jej zmienności



Patrzymy na współczynniki b dla różnych

Patrzymy na współczynniki b dla różnych

predyktorów

predyktorów

•

(porównujemy wystandaryzowane

(porównujemy wystandaryzowane

współczynniki - bety)

współczynniki - bety)



W przypadku dwóch predyktorów model regresji

W przypadku dwóch predyktorów model regresji

można przedstawić jako płaszczyznę w przestrzeni

można przedstawić jako płaszczyznę w przestrzeni

•

Tak dopasowana, aby jak najdokładniej przewidywać

Tak dopasowana, aby jak najdokładniej przewidywać

uzyskane wyniki

uzyskane wyniki

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Równanie regresji

Równanie regresji

wielokrotnej

wielokrotnej



W drugim równaniu nie mamy stałej, (stała = 0)

W drugim równaniu nie mamy stałej, (stała = 0)



Patrzenie na wystandaryzowane współczynniki –

Patrzenie na wystandaryzowane współczynniki –

sprowadzone do jednej skali pozwala na

sprowadzone do jednej skali pozwala na

porównywanie ich wkładu do modelu

porównywanie ich wkładu do modelu

2

2

1

1

0

2

2

1

1

Z

Z

Z

b

X

b

X

b

Y

y



















Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Korelacja wielokrotna

Korelacja wielokrotna



Przy wielu predyktorach nie mamy do

Przy wielu predyktorach nie mamy do

czynienia z prostą korelacją

czynienia z prostą korelacją

•

Uzyskujemy współczynnik korelacji

Uzyskujemy współczynnik korelacji

wielokrotnej….

wielokrotnej….



Korelacja zmiennej zależnej ze wszystkimi

Korelacja zmiennej zależnej ze wszystkimi

predyktorami łącznie

predyktorami łącznie

•

Jeśli R=1 – model idealnie przewiduje

Jeśli R=1 – model idealnie przewiduje

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Korelacja wielokrotna R

Korelacja wielokrotna R



Opisuje stopień liniowego związku

Opisuje stopień liniowego związku

między dwiema zmiennymi

między dwiema zmiennymi

•

Zależną

Zależną

•

Druga jest liniowym agregatem zmiennych

Druga jest liniowym agregatem zmiennych

predykcyjnych (niezależnych)

predykcyjnych (niezależnych)

•

ß

ß

– wystandaryzowane współczynniki

– wystandaryzowane współczynniki

regresji

regresji

xk

k

x

x

r

r

r

R















...

2

2

1

1

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

R

R

2

2

•

Pozwala na oszacowanie dokładności

Pozwala na oszacowanie dokładności

przewidywania wyników w oparciu o

przewidywania wyników w oparciu o

model regresji

model regresji

•

Interpretujemy R

Interpretujemy R

2

2

jak w prostej korelacji

jak w prostej korelacji



Wielkość wariancji w zmiennej zależnej

Wielkość wariancji w zmiennej zależnej

wyjaśniony przez nasz model (wszystkie

wyjaśniony przez nasz model (wszystkie

predyktory łącznie)

predyktory łącznie)

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Problem skorelowanych

Problem skorelowanych

predyktorów

predyktorów



Szukamy unikalnej wspólnej wariancji

Szukamy unikalnej wspólnej wariancji

dwóch zmiennych, przyglądamy się:

dwóch zmiennych, przyglądamy się:

•

Korelacji cząstkowej

Korelacji cząstkowej



Patrzymy na związek dwóch zmiennych, przy

Patrzymy na związek dwóch zmiennych, przy

kontroli trzeciej

kontroli trzeciej

•

korelacja między dwiema zmiennymi Y i X

korelacja między dwiema zmiennymi Y i X

1

1

, po

, po

odrzuceniu z obu zmiennych, jakiejkolwiek

odrzuceniu z obu zmiennych, jakiejkolwiek

wariancji, którą można przypisać trzeciej zmiennej

wariancji, którą można przypisać trzeciej zmiennej

(X

(X

2

2

).

).

Przewidywanie 1

Przewidywanie 1

zmiennej na podstawie

zmiennej na podstawie

dwu i więcej

dwu i więcej

predyktorów

predyktorów

Przewidywanie

Przewidywanie

wyników w

wyników w

eksperymencie …

eksperymencie …

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Zmienna wyjaśniana i

Zmienna wyjaśniana i

wyjaśniająca

wyjaśniająca



Zmienna wyjaśniana:

Zmienna wyjaśniana:

•

Wielkość przydzielanych szoków

Wielkość przydzielanych szoków

elektrycznych

elektrycznych



Zmienna wyjaśniająca:

Zmienna wyjaśniająca:

•

Zmienne temperamentalne

Zmienne temperamentalne



Wytrzymałość

Wytrzymałość



Wrażliwość emocjonalna

Wrażliwość emocjonalna



Reaktywność

Reaktywność

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Statystyki opisowe

128,15 13,8406

100

12,220

4,6266

100

14,820

4,9265

100

SZOKI_Y

WYTRZ_X1

WRAZL_X2

Średnia

Odchylenie

standardowe

N

Zmienne wprowadzone/usunięte

a

WYTRZ_X1

Krokowa (Kryterium: Prawdopodobieñstwo

F-wprowadzenia <= ,050, Prawdopodobieñstwo

F-usuniêcia >= ,100).

WRAZL_X2

Krokowa (Kryterium: Prawdopodobieñstwo

F-wprowadzenia <= ,050, Prawdopodobieñstwo

F-usuniêcia >= ,100).

Mode
l
1

2

Zmienne

wprowadzone

Metoda

Zmienna zależna: SZOKI_Y

a.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Model - Podsumowanie

,456

a

,208

,200

12,3818

,208 25,702

1

98

,000

,505

b

,255

,240

12,0693

,047

6,141

1

97

,015

Model
1
2

R

R-kwadrat

Skorygowane

R-kwadrat

Błąd

standardowy

oszacowania

Zmiana

R-kwadrat

Zmiana F

df1

df2

Istotność

zmiany F

Statystyki zmiany

Predyktory: (Stała), WYTRZ_X1

a.

Predyktory: (Stała), WYTRZ_X1, WRAZL_X2

b.

Analiza wariancji

c

3940,4

1 3940,4 25,702

,000

a

15024

98 153,31

18965

99

4834,9

2 2417,5 16,596

,000

b

14130

97 145,67

18965

99

Regresja

Reszta

Ogółem

Regresja

Reszta

Ogółem

Model
1

2

Suma

kwadratów

df

Średni

kwadrat

F

Istotność

Predyktory: (Stała), WYTRZ_X1

a.

Predyktory: (Stała), WYTRZ_X1, WRAZL_X2

b.

Zmienna zależna: SZOKI_Y

c.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Testy istotności

Testy istotności



F – test korelacji wielokrotnej, dodanie

F – test korelacji wielokrotnej, dodanie

predyktora czy zmienia korelację

predyktora czy zmienia korelację

•

każdy nowy predyktor coś dodaje, ale

każdy nowy predyktor coś dodaje, ale

niekoniecznie sensownie

niekoniecznie sensownie



może być istotny nawet jeśli predyktory

może być istotny nawet jeśli predyktory

nic nie wnoszą do zrozumienia zmiennej

nic nie wnoszą do zrozumienia zmiennej

zależnej.

zależnej.

•

Przy małych próbach i dużej liczbie

Przy małych próbach i dużej liczbie

predyktorów jest większa szansa na uzyskanie

predyktorów jest większa szansa na uzyskanie

korelacji wielokrotnej istotnie większej od zera,

korelacji wielokrotnej istotnie większej od zera,

nawet jeśli w populacji takowa nie istnieje. Stąd

nawet jeśli w populacji takowa nie istnieje. Stąd

sugestie żeby stosunek wielkości próby do

sugestie żeby stosunek wielkości próby do

predyktorów był co najmniej 15 do1

predyktorów był co najmniej 15 do1

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Współczynniki

a

111,49

3,512

31,742

,000

1,364

,269

,456 5,070

,000

121,33

5,243

23,141

,000

1,302

,263

,435 4,943

,000

-,613

,247

-,218 -2,478

,015

(Stała)

WYTRZ_X1

(Stała)

WYTRZ_X1

WRAZL_X2

Model
1

2

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczy

nniki

standaryz

owane

t

Istotność

Zmienna zależna: SZOKI_Y

a.

Statystyka t testuje h zerową, że poszczególne współczynniki nie różnią się od zera

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Korelacje

1,000

,456**

-,259**

-,232*

,

,000

,009

,020

100

100

100

100

,456** 1,000

-,095

-,312**

,000

,

,348

,002

100

100

100

100

-,259**

-,095

1,000

,010

,009

,348

,

,919

100

100

100

100

-,232*

-,312**

,010

1,000

,020

,002

,919

,

100

100

100

126

Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N

SZOKI_Y

WYTRZ_X1

WRAZL_X2

REAKT_X3

SZOKI_Y

WYTRZ_X1

WRAZL_X2

REAKT_X3

Korelacja jest istotna na poziomie 0.01 (dwustronnie).

**.

Korelacja jest istotna na poziomie 0.05 (dwustronnie).

*.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Model - Podsumowanie

,515

a

,265

,242 12,0521

Model
1

R

R-kwadrat

Skorygowane

R-kwadrat

Błąd

standardowy

oszacowania

Predyktory: (Stała), REAKT_X3, WRAZL_X2, WYTRZ_X1

a.

Model - Podsumowanie

,456

a

,208

,200

12,3818

,208 25,702

1

98

,000

,505

b

,255

,240

12,0693

,047

6,141

1

97

,015

Model
1
2

R

R-kwadrat

Skorygowane

R-kwadrat

Błąd

standardowy

oszacowania

Zmiana

R-kwadrat

Zmiana F

df1

df2

Istotność

zmiany F

Statystyki zmiany

Predyktory: (Stała), WYTRZ_X1

a.

Predyktory: (Stała), WYTRZ_X1, WRAZL_X2

b.

Błąd oszacowania nie zmalał

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Analiza wariancji

b

5020,4

3 1673,5 11,521

,000

a

13944

96 145,25

18965

99

Regresja

Reszta

Ogółem

Model
1

Suma

kwadratów

df

Średni

kwadrat

F

Istotność

Predyktory: (Stała), REAKT_X3, WRAZL_X2, WYTRZ_X1

a.

Zmienna zależna: SZOKI_Y

b.

Współczynniki

a

125,85

6,593

19,088

,000

1,204

,277

,402 4,348

,000

-,619

,247

-,220 -2,504

,014

-,296

,262

-,104 -1,130

,261

(Stała)

WYTRZ_X1

WRAZL_X2

REAKT_X3

Model
1

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczy

nniki

standaryz

owane

t

Istotność

Zmienna zależna: SZOKI_Y

a.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Co nam daje korelacja

Co nam daje korelacja

cząstkowa?

cząstkowa?



Możemy spojrzeć na związek dwóch

Możemy spojrzeć na związek dwóch

zmiennych, kiedy efekty trzeciej zmiennej są

zmiennych, kiedy efekty trzeciej zmiennej są

kontrolowane

kontrolowane



Przeprowadza się w celu znalezienia wspólnej

Przeprowadza się w celu znalezienia wspólnej

unikalnej wariancji (zmienności) dwóch

unikalnej wariancji (zmienności) dwóch

zmiennych, bardziej prawdziwy, oczyszczony

zmiennych, bardziej prawdziwy, oczyszczony

związek między dwiema zmiennymi

związek między dwiema zmiennymi

•

Korelacja cząstkowa I stopnia

Korelacja cząstkowa I stopnia



Korelujemy dwie zmienne przy kontroli trzeciej

Korelujemy dwie zmienne przy kontroli trzeciej

•

Korelacja cząstkowa II stopnia

Korelacja cząstkowa II stopnia



Korelujemy dwie zmienne przy jednoczesnej kontroli

Korelujemy dwie zmienne przy jednoczesnej kontroli

dwóch zmiennych

dwóch zmiennych

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Korelacja cząstkowa

Korelacja cząstkowa

A

B

C

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz



Kontrolujemy wpływ trzeciej zmiennej

Kontrolujemy wpływ trzeciej zmiennej



Odrzucamy jej wspólną wariancję z pierwszą i

Odrzucamy jej wspólną wariancję z pierwszą i

drugą zmienną

drugą zmienną



Korelujemy ze sobą oczyszczone reszty

Korelujemy ze sobą oczyszczone reszty

zmienności pierwszej i drugiej zmiennej ( po

zmienności pierwszej i drugiej zmiennej ( po

usunięciu wpływu trzeciej zmiennej)

usunięciu wpływu trzeciej zmiennej)

A

B

C

C

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz



Unikalny związek między A i B przy

Unikalny związek między A i B przy

wyłączeniu wpływu trzeciej zmiennej

wyłączeniu wpływu trzeciej zmiennej

A

B

C

Korelacja cząstkowa

między A i B

przy kontroli

zmiennej C

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Korelacje

1,000

,456**

-,259**

-,232*

,

,000

,009

,020

100

100

100

100

,456** 1,000

-,095

-,312**

,000

,

,348

,002

100

100

100

100

-,259**

-,095

1,000

,010

,009

,348

,

,919

100

100

100

100

-,232*

-,312**

,010

1,000

,020

,002

,919

,

100

100

100

126

Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N

SZOKI_Y

WYTRZ_X1

WRAZL_X2

REAKT_X3

SZOKI_Y

WYTRZ_X1

WRAZL_X2

REAKT_X3

Korelacja jest istotna na poziomie 0.01 (dwustronnie).

**.

Korelacja jest istotna na poziomie 0.05 (dwustronnie).

*.

R2= 20%

R2= 5%

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Idea korelacji cząstkowej

Idea korelacji cząstkowej

Szoki elektryczne

w

y

tr

zy

m

a

ło

ść

20%

Szoki elektryczne

reaktywność

5%

Szoki elektryczne

Unikalna
wariancja
w zmiennej
zależnej
wyjaśniona przez
reaktywność

Unikalna
wariancja
w zmiennej
zależnej
wyjaśniona przez
wytrzymałość

Wariancja
w zmiennej
zależnej
wyjaśniona przez
oba predyktory

Przy korelacji cząstkowej kontrolujemy efekt trzeciej zmiennej na obie pozostałe

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Korelacja semicząstkowa a

Korelacja semicząstkowa a

cząstkowa

cząstkowa



W semicząstkowej korelacji kontrolujemy

W semicząstkowej korelacji kontrolujemy

wpływ trzeciej zmiennej, który ma ona tylko

wpływ trzeciej zmiennej, który ma ona tylko

na jedną ze zmiennych branych do korelacji

na jedną ze zmiennych branych do korelacji

•

Semicząstkowe, kiedy interesuje nas

Semicząstkowe, kiedy interesuje nas

wyjaśnienie zmienności zmiennej zależnej na

wyjaśnienie zmienności zmiennej zależnej na

podstawie kilku predyktorów.

podstawie kilku predyktorów.



Przy korelacji cząstkowej kontrolujemy

Przy korelacji cząstkowej kontrolujemy

wpływ trzeciej zmiennej na obie zmienne

wpływ trzeciej zmiennej na obie zmienne

•

Korelacje cząstkowe są bardziej użyteczne, gdy

Korelacje cząstkowe są bardziej użyteczne, gdy

chcemy przyjrzeć się unikalnemu związkowi

chcemy przyjrzeć się unikalnemu związkowi

dwóch zmiennych

dwóch zmiennych

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Korelacja semicząstkowa

Korelacja semicząstkowa

(częściowa)

(częściowa)



Korelacja semicząstkowa między A i B przy

Korelacja semicząstkowa między A i B przy

wyłączeniu wspólnej zmienności zmiennej C z

wyłączeniu wspólnej zmienności zmiennej C z

ze zmienną B

ze zmienną B



Korelujemy resztę ze zmiennej B ze zmienną A

Korelujemy resztę ze zmiennej B ze zmienną A

A

B

C

zależna

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Korelacje cząstkowe przy

Korelacje cząstkowe przy

regresji

regresji

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Współczynniki

a

125,85

6,593

19,088

,000

1,204

,277

,402 4,348

,000

,456

,406

,381

-,619

,247

-,220 -2,504

,014

-,259

-,248

-,219

-,296

,262

-,104 -1,130

,261

-,232

-,115

-,099

(Stała)

WYTRZ_X1

WRAZL_X2

REAKT_X3

Model
1

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczy

nniki

standaryz

owane

t

Istotność

Rzędu

zerowego

Cząstkowa

Semicząs

tkowa

Korelacje

Zmienna zależna: SZOKI_Y

a.



Korelacje rzędu zerowego to zwykłe korelacje poszczególnych

Korelacje rzędu zerowego to zwykłe korelacje poszczególnych

zmiennych ze zmienną zależną. Korelacje cząstkowe to w tym

zmiennych ze zmienną zależną. Korelacje cząstkowe to w tym

przypadku korelacja tych dwóch zmiennych, przy kontroli

przypadku korelacja tych dwóch zmiennych, przy kontroli

pozostałych zmiennych, czyli odrzucenia wspólnej wariancji.

pozostałych zmiennych, czyli odrzucenia wspólnej wariancji.

Analizując istotności współczynników regresji i korelacje

Analizując istotności współczynników regresji i korelacje

cząstkowe, widzimy, że dany predyktor przestaje dodawać coś

cząstkowe, widzimy, że dany predyktor przestaje dodawać coś

istotnego do zrozumienia zmiennej zależnej, jeśli jego korelacja

istotnego do zrozumienia zmiennej zależnej, jeśli jego korelacja

cząstkowa jest zdecydowanie mniejsza od oryginalnej. Oznacza

cząstkowa jest zdecydowanie mniejsza od oryginalnej. Oznacza

to, że po wyeliminowaniu zmienności wspólnej z innymi

to, że po wyeliminowaniu zmienności wspólnej z innymi

predyktorami ze związku między np. reaktywnością i zmienną

predyktorami ze związku między np. reaktywnością i zmienną

zależną niewiele pozostaje im wspólnego.

zależną niewiele pozostaje im wspólnego.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Rola korelacji cząstkowych

Rola korelacji cząstkowych



Patrząc na cząstkowe korelacje

Patrząc na cząstkowe korelacje

dostajemy czysty obraz związku,

dostajemy czysty obraz związku,

przy kontroli innych zmiennych i

przy kontroli innych zmiennych i

widać, które zmienne są lepszymi, a

widać, które zmienne są lepszymi, a

które gorszymi predyktorami.

które gorszymi predyktorami.

•

Sugerowane jest zrobienie regresji jeszcze

Sugerowane jest zrobienie regresji jeszcze

raz, tym razem z uwzględnieniem w

raz, tym razem z uwzględnieniem w

równaniu tylko istotnych predyktorów

równaniu tylko istotnych predyktorów

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz



współczynniki b i bety zmieniają się

współczynniki b i bety zmieniają się

zależne od tego, które zmienne

zależne od tego, które zmienne

wprowadzimy do modelu

wprowadzimy do modelu



stąd jeśli interesuje nas predykcja

stąd jeśli interesuje nas predykcja

lepiej pozostać na poziomie prostej

lepiej pozostać na poziomie prostej

analizy regresji z 1 predyktorem,

analizy regresji z 1 predyktorem,

góra dwoma predyktorami – życie

góra dwoma predyktorami – życie

staje się prostsze.

staje się prostsze.

Metody wprowadzania

Metody wprowadzania

zmiennych

zmiennych

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Model regresji z większą liczbą

Model regresji z większą liczbą

predyktorów

predyktorów



Musimy się zastanowić jakie zmienne i w

Musimy się zastanowić jakie zmienne i w

jaki sposób wprowadzić zmienne do

jaki sposób wprowadzić zmienne do

modelu

modelu



Współczynniki regresji zależą od

Współczynniki regresji zależą od

zmiennych wprowadzonych do modelu

zmiennych wprowadzonych do modelu

•

Zmieniając konfigurację predyktorów w

Zmieniając konfigurację predyktorów w

modelu, zmieniamy współczynniki regresji

modelu, zmieniamy współczynniki regresji

•

Wybieramy predyktory ważne z ważne z

Wybieramy predyktory ważne z ważne z

perspektywy teorii

perspektywy teorii

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Kolejność zmiennych w

Kolejność zmiennych w

modelu

modelu



Kiedy predyktory nie są ze sobą

Kiedy predyktory nie są ze sobą

skorelowane a jedynie ze zmienną

skorelowane a jedynie ze zmienną

zależną

zależną

•

Kolejność wprowadzanie zmiennych

Kolejność wprowadzanie zmiennych

predykcyjnych nie ma znaczenia

predykcyjnych nie ma znaczenia



Rzeczywistość nie jest tak łaskawa

Rzeczywistość nie jest tak łaskawa

•

Rzadko mamy do czynienia z

Rzadko mamy do czynienia z

nieskorelowanymi predyktorami

nieskorelowanymi predyktorami



Wybór metody jest kluczową sprawą

Wybór metody jest kluczową sprawą

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Metoda wprowadzania

Metoda wprowadzania



Wszystkie predyktory są

Wszystkie predyktory są

wprowadzane do modelu

wprowadzane do modelu

jednocześnie

jednocześnie



Nie podejmujemy decyzji, które

Nie podejmujemy decyzji, które

zmienne mają wejść jako pierwsze do

zmienne mają wejść jako pierwsze do

modelu

modelu

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Metoda regresji

Metoda regresji

hierarchicznej

hierarchicznej



W regresji hierarchicznej predyktory

W regresji hierarchicznej predyktory

do modelu dobieramy na podstawie

do modelu dobieramy na podstawie

przeszłej wiedzy

przeszłej wiedzy

•

Badacz decyduje sam, w jakim porządku

Badacz decyduje sam, w jakim porządku

wprowadzić predyktory do modelu

wprowadzić predyktory do modelu



Najważniejsze pod względem siły

Najważniejsze pod względem siły

przewidywania powinny wejść na początku

przewidywania powinny wejść na początku



Potem nowe predyktory

Potem nowe predyktory

Przewidywanie

Przewidywanie

sprzedaży płyt

sprzedaży płyt

Na podstawie kwoty przeznaczonej na

Na podstawie kwoty przeznaczonej na

reklamę, częstości puszczania piosenek

reklamę, częstości puszczania piosenek

z tej płyty w rozgłośniach radiowych i

z tej płyty w rozgłośniach radiowych i

atrakcyjności zespołu

atrakcyjności zespołu

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

•

Współczynniki regresji dla wszystkich predyktorów

Współczynniki regresji dla wszystkich predyktorów

•

Stała

Stała



Jak obliczymy współczynniki, będziemy mogli

Jak obliczymy współczynniki, będziemy mogli

dokonać predykcji sprzedaży nie tylko na

dokonać predykcji sprzedaży nie tylko na

podstawie wydanych pieniędzy na reklamę,

podstawie wydanych pieniędzy na reklamę,

ale również i częstości puszczania danej

ale również i częstości puszczania danej

muzyki w radio i atrakcyjności zespołu

muzyki w radio i atrakcyjności zespołu

sc

atrakcyjno

radio

reklama

plyt

sprzedaz

3

2

1

0

b

b

b

b









Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Korelacje

1,000

,578** ,102

,081

,

,000

,151

,256

200

200

200

200

,578** 1,000

,599**

,326**

,000

,

,000

,000

200

200

200

200

,102

,599** 1,000

,182**

,151

,000

,

,010

200

200

200

200

,081

,326** ,182**

1,000

,256

,000

,010

,

200

200

200

200

Korelacja Pearsona

Istotność (dwustronna)

N

Korelacja Pearsona

Istotność (dwustronna)

N

Korelacja Pearsona

Istotność (dwustronna)

N

Korelacja Pearsona

Istotność (dwustronna)

N

budżet w tysiącach

sprzedaż w tysiącach

liczba piosenek w
tygodniu

atrakcyjność grupy

budżet w

tysiącach

sprzedaż w

tysiącach

liczba

piosenek

w tygodniu

atrakcyjność

grupy

Korelacja jest istotna na poziomie 0.01 (dwustronnie).

**.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Metoda hierarchiczna

Metoda hierarchiczna

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

W drugim kroku…

W drugim kroku…

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Zmienne wprowadzone/usunięte

b

bud¿et w tysi¹cach

a

,

Wprowadzanie

atrakcyjnoϾ grupy, liczba

piosenek w tygodniu

a

,

Wprowadzanie

Model
1
2

Zmienne wprowadzone

Zmienne

usunięte

Metoda

Wszystkie wyspecyfikowane zmienne zostały wprowadzone.

a.

Zmienna zależna: sprzedaż w tysiącach

b.

Model - Podsumowanie

,578

a

,335

,331 65,9914

,335 99,587

1

198

,000

,815

b

,665

,660 47,0873

,330 96,447

2

196

,000

Model
1

2

R

R-kwadrat

Skorygowane

R-kwadrat

Błąd

standardowy

oszacowania

Zmiana

R-kwadrat

Zmiana F

df1

df2

Istotność

zmiany F

Statystyki zmiany

Predyktory: (Stała), budżet w tysiącach

a.

Predyktory: (Stała), budżet w tysiącach, atrakcyjność grupy, liczba piosenek w tygodniu

b.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Analiza wariancji

c

433688

1 433688 99,587

,000

a

862264

198 4354,9

1295952

199

861377

3 287126 129,498

,000

b

434575

196 2217,2

1295952

199

Regresja
Reszta
Ogółem
Regresja
Reszta
Ogółem

Model
1

2

Suma

kwadratów

df

Średni

kwadrat

F

Istotność

Predyktory: (Stała), budżet w tysiącach

a.

Predyktory: (Stała), budżet w tysiącach, atrakcyjność grupy, liczba piosenek w
tygodniu

b.

Zmienna zależna: sprzedaż w tysiącach

c.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Współczynniki

a

134,14

7,537

17,799

,000

,096

,010

,578 9,979

,000

-26,61

17,350

-1,534

,127

,085

,007

,511 12,261

,000

3,367

,278

,512 12,123

,000

11,086

2,438

,192 4,548

,000

(Stała)

budżet w tysiącach

(Stała)

budżet w tysiącach

liczba piosenek w
tygodniu
atrakcyjność grupy

Model
1

2

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczy

nniki

standaryz

owane

t

Istotność

Zmienna zależna: sprzedaż w tysiącach

a.





sc

atrakcyjno

09

,

11

radio)

37

,

3

(

reklama)

85

,

0

(

61

,

26

plyt

sprzedaz

















Statystyki t - pokazują, czy predyktor przyczynia się istotnie do predykcji zmiennej zależnej

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz



Współczynnik b dla reklamy=0,085

Współczynnik b dla reklamy=0,085

•

Oznacza, że jeśli zwiększymy budżet na reklamę o jednostkę,

Oznacza, że jeśli zwiększymy budżet na reklamę o jednostkę,

sprzedaż płyt wzrośnie o 0,085 jednostek. Obie zmienne były w

sprzedaż płyt wzrośnie o 0,085 jednostek. Obie zmienne były w

tysiącach stąd, z każdym nowym tysiącem wydanym na

tysiącach stąd, z każdym nowym tysiącem wydanym na

reklamę sprzedaż wzrośnie o 0,085 tysiąca płyt (o 85 płyt)

reklamę sprzedaż wzrośnie o 0,085 tysiąca płyt (o 85 płyt)

•

Zakładając oczywiście, że pozostałe predyktory są na stałym

Zakładając oczywiście, że pozostałe predyktory są na stałym

poziomie

poziomie



Współczynnik b dla radia=3,367

Współczynnik b dla radia=3,367

•

Oznacza, że każde dodatkowe puszczenie piosenki w radiu

Oznacza, że każde dodatkowe puszczenie piosenki w radiu

przed sprzedażą na rynku płyt spowoduje, że sprzedaż

przed sprzedażą na rynku płyt spowoduje, że sprzedaż

wzrośnie o 3,367 jednostek ( o 3367 płyt )

wzrośnie o 3,367 jednostek ( o 3367 płyt )

•

Zakładając oczywiście, że pozostałe predyktory są na stałym

Zakładając oczywiście, że pozostałe predyktory są na stałym

poziomie

poziomie



łatwiejsze w interpretacji są wystandaryzowane

łatwiejsze w interpretacji są wystandaryzowane

współczynniki b

współczynniki b

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Metody regresji krokowej

Metody regresji krokowej



Decyzje o tym, które zmienne

Decyzje o tym, które zmienne

wchodzą do modelu są podejmowane

wchodzą do modelu są podejmowane

w oparciu o kryteria matematyczne

w oparciu o kryteria matematyczne

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Stepwise - krokowa

Stepwise - krokowa



Po dodaniu nowego predyktora do

Po dodaniu nowego predyktora do

modelu, sprawdzamy, czy któryś z

modelu, sprawdzamy, czy któryś z

predyktorów nie stracił czasem na

predyktorów nie stracił czasem na

ważności

ważności

•

Predyktor raz włączony do równania

Predyktor raz włączony do równania

może zostać z niego wyrzucony

może zostać z niego wyrzucony

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Zmienne wprowadzone/usunięte

a

liczba
piosenek w
tygodniu

,

Krokowa (Kryterium:
Prawdopodobieństwo F-wprowadzenia
<= ,050, Prawdopodobieństwo
F-usunięcia >= ,100).

budżet w
tysiącach

,

Krokowa (Kryterium:
Prawdopodobieństwo F-wprowadzenia
<= ,050, Prawdopodobieństwo
F-usunięcia >= ,100).

atrakcyjność
grupy

,

Krokowa (Kryterium:
Prawdopodobieństwo F-wprowadzenia
<= ,050, Prawdopodobieństwo
F-usunięcia >= ,100).

Model
1

2

3

Zmienne

wprowadzone

Zmienne

usunięte

Metoda

Zmienna zależna: sprzedaż w tysiącach

a.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Współczynniki

a

84,873 11,267

7,533 ,000

3,939

,374 ,599 10,5 ,000

41,124 9,331

4,407 ,000

3,589

,287 ,546 12,5 ,000

,087

,007 ,523 12,0 ,000

-26,61 17,350

-1,53 ,127

3,367

,278 ,512 12,1 ,000

,085

,007 ,511 12,3 ,000

11,086 2,438 ,192 4,548 ,000

(Stała)

liczba piosenek w
tygodniu
(Stała)

liczba piosenek w
tygodniu
budżet w tysiącach

(Stała)

liczba piosenek w
tygodniu
budżet w tysiącach

atrakcyjność grupy

Model
1

2

3

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczy

nniki

standaryz

owane

t

Istotność

Zmienna zależna: sprzedaż w tysiącach

a.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Metoda selekcji postępującej -

Metoda selekcji postępującej -

forward

forward



Początkowo model zawiera tylko stałą,

Początkowo model zawiera tylko stałą,



Spośród dostępnych predyktorów

Spośród dostępnych predyktorów

wyszukiwany jest ten, który najlepiej

wyszukiwany jest ten, który najlepiej

przewiduje zmienną wynikową

przewiduje zmienną wynikową

•

Na podstawie współczynnika korelacji –

Na podstawie współczynnika korelacji –

wchodzi ta zmienna, która najsilniej koreluje

wchodzi ta zmienna, która najsilniej koreluje

•

Potem szukamy kolejnego najlepszego

Potem szukamy kolejnego najlepszego

predyktora

predyktora



Taki, który ma największą korelację semicząstkową ze

Taki, który ma największą korelację semicząstkową ze

zmienną wynikową –

zmienną wynikową –

•

Usuwany wariancję wspólną drugiego predyktora z

Usuwany wariancję wspólną drugiego predyktora z

pierwszym i korelujemy ze zmienną zależną

pierwszym i korelujemy ze zmienną zależną

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz



Jeśli pierwszy predyktor wyjaśnił 60%

Jeśli pierwszy predyktor wyjaśnił 60%

wariancji w zmiennej zależnej

wariancji w zmiennej zależnej

•

Pozostaje jeszcze 40% do wyjaśnienia

Pozostaje jeszcze 40% do wyjaśnienia

•

Szukamy takiej zmiennej, która pozwoli

Szukamy takiej zmiennej, która pozwoli

nam wyjaśnić coś z pozostałych 40%

nam wyjaśnić coś z pozostałych 40%

wariancji

wariancji

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Eliminacja wsteczna

Eliminacja wsteczna



Procedura doboru zmiennych do

Procedura doboru zmiennych do

modelu, w ramach której wszystkie

modelu, w ramach której wszystkie

zmienne są wprowadzane do modelu,

zmienne są wprowadzane do modelu,

a następnie kolejno usuwane.

a następnie kolejno usuwane.

•

Zmienna, która ma najmniejszy

Zmienna, która ma najmniejszy

współczynnik korelacji semicząstkowej

współczynnik korelacji semicząstkowej

ze zmienną objaśnianą jest rozważana

ze zmienną objaśnianą jest rozważana

jako pierwsza do usunięcia.

jako pierwsza do usunięcia.

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Którą wybrać?

Którą wybrać?



Przy metodach krokowych – komputer

Przy metodach krokowych – komputer

podejmuje za nas decyzję o tym,

podejmuje za nas decyzję o tym,

które zmienne wejdą do modelu

które zmienne wejdą do modelu

•

Wchodzą te najsilniejsze – niekoniecznie

Wchodzą te najsilniejsze – niekoniecznie

najważniejsze z teoretycznego punktu

najważniejsze z teoretycznego punktu

•

Stosowane w modelach eksploracyjnych

Stosowane w modelach eksploracyjnych



Lepiej oprzeć się o przeszłe wyniki i

Lepiej oprzeć się o przeszłe wyniki i

teorię

teorię

Materiały do wykładu

Materiały do wykładu

Izabela Krejtz

Izabela Krejtz

Im mniej predyktorów tym

Im mniej predyktorów tym

lepiej

lepiej



Nie należy włączać zbyt wielu

Nie należy włączać zbyt wielu

predyktorów do modelu

predyktorów do modelu

•

Te, które mają znaczenie teoretyczne

Te, które mają znaczenie teoretyczne

•

Po przeprowadzeniu analizy z wszystkimi

Po przeprowadzeniu analizy z wszystkimi

predyktorami, jeszcze raz wykluczając

predyktorami, jeszcze raz wykluczając

zmienne nieistotnie przyczyniające się

zmienne nieistotnie przyczyniające się

wyjaśnienia zmienności zmiennej

wyjaśnienia zmienności zmiennej

zależnej

zależnej



Co najmniej po 15 osób na predyktor

Co najmniej po 15 osób na predyktor