Regresja
Regresja
wielozmiennowa
wielozmiennowa
spotkanie 10
spotkanie 10
Regresja
Regresja
wielozmiennowa
wielozmiennowa
spotkanie 10
spotkanie 10
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Poruszane zagadnienia
Poruszane zagadnienia
Regresja wielokrotna
Regresja wielokrotna
•
Interpretacja R i R
Interpretacja R i R
2
2
•
Problem skorelowanych predktorów
Problem skorelowanych predktorów
korelacja cząstkowa i semicząstkowa
korelacja cząstkowa i semicząstkowa
•
Metody wprowadzania zmiennych do
Metody wprowadzania zmiennych do
analizy regresji
analizy regresji
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Sprawdzamy założenia do
Sprawdzamy założenia do
analizy regresji
analizy regresji
Zmienna zależna – mierzona na skali
Zmienna zależna – mierzona na skali
ilościowej
ilościowej
Predyktory – ilościowe lub kategorialne
Predyktory – ilościowe lub kategorialne
(0,1)
(0,1)
Liniowy związek między predyktorem a
Liniowy związek między predyktorem a
zmienną zależną (wykresy rozrzutu)
zmienną zależną (wykresy rozrzutu)
Brak silnych korelacji między predyktorami
Brak silnych korelacji między predyktorami
•
Silna korelacja między predyktorami – podobną
Silna korelacja między predyktorami – podobną
część wariancji będą wyjaśniać w zmiennej
część wariancji będą wyjaśniać w zmiennej
zależnej - będą się znosić w modelu
zależnej - będą się znosić w modelu
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Regresja wielokrotna
Regresja wielokrotna
Rozszerzenie jednozmiennowej
Rozszerzenie jednozmiennowej
•
Poszukujemy liniowej kombinacji predyktorów,
Poszukujemy liniowej kombinacji predyktorów,
która najsilniej koreluje ze zmienną wyjaśnianą,
która najsilniej koreluje ze zmienną wyjaśnianą,
wyjaśnia jak najwięcej jej zmienności
wyjaśnia jak najwięcej jej zmienności
Patrzymy na współczynniki b dla różnych
Patrzymy na współczynniki b dla różnych
predyktorów
predyktorów
•
(porównujemy wystandaryzowane
(porównujemy wystandaryzowane
współczynniki - bety)
współczynniki - bety)
W przypadku dwóch predyktorów model regresji
W przypadku dwóch predyktorów model regresji
można przedstawić jako płaszczyznę w przestrzeni
można przedstawić jako płaszczyznę w przestrzeni
•
Tak dopasowana, aby jak najdokładniej przewidywać
Tak dopasowana, aby jak najdokładniej przewidywać
uzyskane wyniki
uzyskane wyniki
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Równanie regresji
Równanie regresji
wielokrotnej
wielokrotnej
W drugim równaniu nie mamy stałej, (stała = 0)
W drugim równaniu nie mamy stałej, (stała = 0)
Patrzenie na wystandaryzowane współczynniki –
Patrzenie na wystandaryzowane współczynniki –
sprowadzone do jednej skali pozwala na
sprowadzone do jednej skali pozwala na
porównywanie ich wkładu do modelu
porównywanie ich wkładu do modelu
2
2
1
1
0
2
2
1
1
Z
Z
Z
b
X
b
X
b
Y
y
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Korelacja wielokrotna
Korelacja wielokrotna
Przy wielu predyktorach nie mamy do
Przy wielu predyktorach nie mamy do
czynienia z prostą korelacją
czynienia z prostą korelacją
•
Uzyskujemy współczynnik korelacji
Uzyskujemy współczynnik korelacji
wielokrotnej….
wielokrotnej….
Korelacja zmiennej zależnej ze wszystkimi
Korelacja zmiennej zależnej ze wszystkimi
predyktorami łącznie
predyktorami łącznie
•
Jeśli R=1 – model idealnie przewiduje
Jeśli R=1 – model idealnie przewiduje
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Korelacja wielokrotna R
Korelacja wielokrotna R
Opisuje stopień liniowego związku
Opisuje stopień liniowego związku
między dwiema zmiennymi
między dwiema zmiennymi
•
Zależną
Zależną
•
Druga jest liniowym agregatem zmiennych
Druga jest liniowym agregatem zmiennych
predykcyjnych (niezależnych)
predykcyjnych (niezależnych)
•
ß
ß
– wystandaryzowane współczynniki
– wystandaryzowane współczynniki
regresji
regresji
xk
k
x
x
r
r
r
R
...
2
2
1
1
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
R
R
2
2
•
Pozwala na oszacowanie dokładności
Pozwala na oszacowanie dokładności
przewidywania wyników w oparciu o
przewidywania wyników w oparciu o
model regresji
model regresji
•
Interpretujemy R
Interpretujemy R
2
2
jak w prostej korelacji
jak w prostej korelacji
Wielkość wariancji w zmiennej zależnej
Wielkość wariancji w zmiennej zależnej
wyjaśniony przez nasz model (wszystkie
wyjaśniony przez nasz model (wszystkie
predyktory łącznie)
predyktory łącznie)
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Problem skorelowanych
Problem skorelowanych
predyktorów
predyktorów
Szukamy unikalnej wspólnej wariancji
Szukamy unikalnej wspólnej wariancji
dwóch zmiennych, przyglądamy się:
dwóch zmiennych, przyglądamy się:
•
Korelacji cząstkowej
Korelacji cząstkowej
Patrzymy na związek dwóch zmiennych, przy
Patrzymy na związek dwóch zmiennych, przy
kontroli trzeciej
kontroli trzeciej
•
korelacja między dwiema zmiennymi Y i X
korelacja między dwiema zmiennymi Y i X
1
1
, po
, po
odrzuceniu z obu zmiennych, jakiejkolwiek
odrzuceniu z obu zmiennych, jakiejkolwiek
wariancji, którą można przypisać trzeciej zmiennej
wariancji, którą można przypisać trzeciej zmiennej
(X
(X
2
2
).
).
Przewidywanie 1
Przewidywanie 1
zmiennej na podstawie
zmiennej na podstawie
dwu i więcej
dwu i więcej
predyktorów
predyktorów
Przewidywanie
Przewidywanie
wyników w
wyników w
eksperymencie …
eksperymencie …
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Zmienna wyjaśniana i
Zmienna wyjaśniana i
wyjaśniająca
wyjaśniająca
Zmienna wyjaśniana:
Zmienna wyjaśniana:
•
Wielkość przydzielanych szoków
Wielkość przydzielanych szoków
elektrycznych
elektrycznych
Zmienna wyjaśniająca:
Zmienna wyjaśniająca:
•
Zmienne temperamentalne
Zmienne temperamentalne
Wytrzymałość
Wytrzymałość
Wrażliwość emocjonalna
Wrażliwość emocjonalna
Reaktywność
Reaktywność
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Statystyki opisowe
128,15 13,8406
100
12,220
4,6266
100
14,820
4,9265
100
SZOKI_Y
WYTRZ_X1
WRAZL_X2
Średnia
Odchylenie
standardowe
N
Zmienne wprowadzone/usunięte
a
WYTRZ_X1
Krokowa (Kryterium: Prawdopodobieñstwo
F-wprowadzenia <= ,050, Prawdopodobieñstwo
F-usuniêcia >= ,100).
WRAZL_X2
Krokowa (Kryterium: Prawdopodobieñstwo
F-wprowadzenia <= ,050, Prawdopodobieñstwo
F-usuniêcia >= ,100).
Mode
l
1
2
Zmienne
wprowadzone
Metoda
Zmienna zależna: SZOKI_Y
a.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Model - Podsumowanie
,456
a
,208
,200
12,3818
,208 25,702
1
98
,000
,505
b
,255
,240
12,0693
,047
6,141
1
97
,015
Model
1
2
R
R-kwadrat
Skorygowane
R-kwadrat
Błąd
standardowy
oszacowania
Zmiana
R-kwadrat
Zmiana F
df1
df2
Istotność
zmiany F
Statystyki zmiany
Predyktory: (Stała), WYTRZ_X1
a.
Predyktory: (Stała), WYTRZ_X1, WRAZL_X2
b.
Analiza wariancji
c
3940,4
1 3940,4 25,702
,000
a
15024
98 153,31
18965
99
4834,9
2 2417,5 16,596
,000
b
14130
97 145,67
18965
99
Regresja
Reszta
Ogółem
Regresja
Reszta
Ogółem
Model
1
2
Suma
kwadratów
df
Średni
kwadrat
F
Istotność
Predyktory: (Stała), WYTRZ_X1
a.
Predyktory: (Stała), WYTRZ_X1, WRAZL_X2
b.
Zmienna zależna: SZOKI_Y
c.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Testy istotności
Testy istotności
F – test korelacji wielokrotnej, dodanie
F – test korelacji wielokrotnej, dodanie
predyktora czy zmienia korelację
predyktora czy zmienia korelację
•
każdy nowy predyktor coś dodaje, ale
każdy nowy predyktor coś dodaje, ale
niekoniecznie sensownie
niekoniecznie sensownie
może być istotny nawet jeśli predyktory
może być istotny nawet jeśli predyktory
nic nie wnoszą do zrozumienia zmiennej
nic nie wnoszą do zrozumienia zmiennej
zależnej.
zależnej.
•
Przy małych próbach i dużej liczbie
Przy małych próbach i dużej liczbie
predyktorów jest większa szansa na uzyskanie
predyktorów jest większa szansa na uzyskanie
korelacji wielokrotnej istotnie większej od zera,
korelacji wielokrotnej istotnie większej od zera,
nawet jeśli w populacji takowa nie istnieje. Stąd
nawet jeśli w populacji takowa nie istnieje. Stąd
sugestie żeby stosunek wielkości próby do
sugestie żeby stosunek wielkości próby do
predyktorów był co najmniej 15 do1
predyktorów był co najmniej 15 do1
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Współczynniki
a
111,49
3,512
31,742
,000
1,364
,269
,456 5,070
,000
121,33
5,243
23,141
,000
1,302
,263
,435 4,943
,000
-,613
,247
-,218 -2,478
,015
(Stała)
WYTRZ_X1
(Stała)
WYTRZ_X1
WRAZL_X2
Model
1
2
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczy
nniki
standaryz
owane
t
Istotność
Zmienna zależna: SZOKI_Y
a.
Statystyka t testuje h zerową, że poszczególne współczynniki nie różnią się od zera
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Korelacje
1,000
,456**
-,259**
-,232*
,
,000
,009
,020
100
100
100
100
,456** 1,000
-,095
-,312**
,000
,
,348
,002
100
100
100
100
-,259**
-,095
1,000
,010
,009
,348
,
,919
100
100
100
100
-,232*
-,312**
,010
1,000
,020
,002
,919
,
100
100
100
126
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
SZOKI_Y
WYTRZ_X1
WRAZL_X2
REAKT_X3
SZOKI_Y
WYTRZ_X1
WRAZL_X2
REAKT_X3
Korelacja jest istotna na poziomie 0.01 (dwustronnie).
**.
Korelacja jest istotna na poziomie 0.05 (dwustronnie).
*.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Model - Podsumowanie
,515
a
,265
,242 12,0521
Model
1
R
R-kwadrat
Skorygowane
R-kwadrat
Błąd
standardowy
oszacowania
Predyktory: (Stała), REAKT_X3, WRAZL_X2, WYTRZ_X1
a.
Model - Podsumowanie
,456
a
,208
,200
12,3818
,208 25,702
1
98
,000
,505
b
,255
,240
12,0693
,047
6,141
1
97
,015
Model
1
2
R
R-kwadrat
Skorygowane
R-kwadrat
Błąd
standardowy
oszacowania
Zmiana
R-kwadrat
Zmiana F
df1
df2
Istotność
zmiany F
Statystyki zmiany
Predyktory: (Stała), WYTRZ_X1
a.
Predyktory: (Stała), WYTRZ_X1, WRAZL_X2
b.
Błąd oszacowania nie zmalał
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Analiza wariancji
b
5020,4
3 1673,5 11,521
,000
a
13944
96 145,25
18965
99
Regresja
Reszta
Ogółem
Model
1
Suma
kwadratów
df
Średni
kwadrat
F
Istotność
Predyktory: (Stała), REAKT_X3, WRAZL_X2, WYTRZ_X1
a.
Zmienna zależna: SZOKI_Y
b.
Współczynniki
a
125,85
6,593
19,088
,000
1,204
,277
,402 4,348
,000
-,619
,247
-,220 -2,504
,014
-,296
,262
-,104 -1,130
,261
(Stała)
WYTRZ_X1
WRAZL_X2
REAKT_X3
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczy
nniki
standaryz
owane
t
Istotność
Zmienna zależna: SZOKI_Y
a.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Co nam daje korelacja
Co nam daje korelacja
cząstkowa?
cząstkowa?
Możemy spojrzeć na związek dwóch
Możemy spojrzeć na związek dwóch
zmiennych, kiedy efekty trzeciej zmiennej są
zmiennych, kiedy efekty trzeciej zmiennej są
kontrolowane
kontrolowane
Przeprowadza się w celu znalezienia wspólnej
Przeprowadza się w celu znalezienia wspólnej
unikalnej wariancji (zmienności) dwóch
unikalnej wariancji (zmienności) dwóch
zmiennych, bardziej prawdziwy, oczyszczony
zmiennych, bardziej prawdziwy, oczyszczony
związek między dwiema zmiennymi
związek między dwiema zmiennymi
•
Korelacja cząstkowa I stopnia
Korelacja cząstkowa I stopnia
Korelujemy dwie zmienne przy kontroli trzeciej
Korelujemy dwie zmienne przy kontroli trzeciej
•
Korelacja cząstkowa II stopnia
Korelacja cząstkowa II stopnia
Korelujemy dwie zmienne przy jednoczesnej kontroli
Korelujemy dwie zmienne przy jednoczesnej kontroli
dwóch zmiennych
dwóch zmiennych
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Korelacja cząstkowa
Korelacja cząstkowa
A
B
C
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Kontrolujemy wpływ trzeciej zmiennej
Kontrolujemy wpływ trzeciej zmiennej
Odrzucamy jej wspólną wariancję z pierwszą i
Odrzucamy jej wspólną wariancję z pierwszą i
drugą zmienną
drugą zmienną
Korelujemy ze sobą oczyszczone reszty
Korelujemy ze sobą oczyszczone reszty
zmienności pierwszej i drugiej zmiennej ( po
zmienności pierwszej i drugiej zmiennej ( po
usunięciu wpływu trzeciej zmiennej)
usunięciu wpływu trzeciej zmiennej)
A
B
C
C
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Unikalny związek między A i B przy
Unikalny związek między A i B przy
wyłączeniu wpływu trzeciej zmiennej
wyłączeniu wpływu trzeciej zmiennej
A
B
C
Korelacja cząstkowa
między A i B
przy kontroli
zmiennej C
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Korelacje
1,000
,456**
-,259**
-,232*
,
,000
,009
,020
100
100
100
100
,456** 1,000
-,095
-,312**
,000
,
,348
,002
100
100
100
100
-,259**
-,095
1,000
,010
,009
,348
,
,919
100
100
100
100
-,232*
-,312**
,010
1,000
,020
,002
,919
,
100
100
100
126
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
SZOKI_Y
WYTRZ_X1
WRAZL_X2
REAKT_X3
SZOKI_Y
WYTRZ_X1
WRAZL_X2
REAKT_X3
Korelacja jest istotna na poziomie 0.01 (dwustronnie).
**.
Korelacja jest istotna na poziomie 0.05 (dwustronnie).
*.
R2= 20%
R2= 5%
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Idea korelacji cząstkowej
Idea korelacji cząstkowej
Szoki elektryczne
w
y
tr
zy
m
a
ło
ść
20%
Szoki elektryczne
reaktywność
5%
Szoki elektryczne
Unikalna
wariancja
w zmiennej
zależnej
wyjaśniona przez
reaktywność
Unikalna
wariancja
w zmiennej
zależnej
wyjaśniona przez
wytrzymałość
Wariancja
w zmiennej
zależnej
wyjaśniona przez
oba predyktory
Przy korelacji cząstkowej kontrolujemy efekt trzeciej zmiennej na obie pozostałe
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Korelacja semicząstkowa a
Korelacja semicząstkowa a
cząstkowa
cząstkowa
W semicząstkowej korelacji kontrolujemy
W semicząstkowej korelacji kontrolujemy
wpływ trzeciej zmiennej, który ma ona tylko
wpływ trzeciej zmiennej, który ma ona tylko
na jedną ze zmiennych branych do korelacji
na jedną ze zmiennych branych do korelacji
•
Semicząstkowe, kiedy interesuje nas
Semicząstkowe, kiedy interesuje nas
wyjaśnienie zmienności zmiennej zależnej na
wyjaśnienie zmienności zmiennej zależnej na
podstawie kilku predyktorów.
podstawie kilku predyktorów.
Przy korelacji cząstkowej kontrolujemy
Przy korelacji cząstkowej kontrolujemy
wpływ trzeciej zmiennej na obie zmienne
wpływ trzeciej zmiennej na obie zmienne
•
Korelacje cząstkowe są bardziej użyteczne, gdy
Korelacje cząstkowe są bardziej użyteczne, gdy
chcemy przyjrzeć się unikalnemu związkowi
chcemy przyjrzeć się unikalnemu związkowi
dwóch zmiennych
dwóch zmiennych
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Korelacja semicząstkowa
Korelacja semicząstkowa
(częściowa)
(częściowa)
Korelacja semicząstkowa między A i B przy
Korelacja semicząstkowa między A i B przy
wyłączeniu wspólnej zmienności zmiennej C z
wyłączeniu wspólnej zmienności zmiennej C z
ze zmienną B
ze zmienną B
Korelujemy resztę ze zmiennej B ze zmienną A
Korelujemy resztę ze zmiennej B ze zmienną A
A
B
C
zależna
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Korelacje cząstkowe przy
Korelacje cząstkowe przy
regresji
regresji
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Współczynniki
a
125,85
6,593
19,088
,000
1,204
,277
,402 4,348
,000
,456
,406
,381
-,619
,247
-,220 -2,504
,014
-,259
-,248
-,219
-,296
,262
-,104 -1,130
,261
-,232
-,115
-,099
(Stała)
WYTRZ_X1
WRAZL_X2
REAKT_X3
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczy
nniki
standaryz
owane
t
Istotność
Rzędu
zerowego
Cząstkowa
Semicząs
tkowa
Korelacje
Zmienna zależna: SZOKI_Y
a.
Korelacje rzędu zerowego to zwykłe korelacje poszczególnych
Korelacje rzędu zerowego to zwykłe korelacje poszczególnych
zmiennych ze zmienną zależną. Korelacje cząstkowe to w tym
zmiennych ze zmienną zależną. Korelacje cząstkowe to w tym
przypadku korelacja tych dwóch zmiennych, przy kontroli
przypadku korelacja tych dwóch zmiennych, przy kontroli
pozostałych zmiennych, czyli odrzucenia wspólnej wariancji.
pozostałych zmiennych, czyli odrzucenia wspólnej wariancji.
Analizując istotności współczynników regresji i korelacje
Analizując istotności współczynników regresji i korelacje
cząstkowe, widzimy, że dany predyktor przestaje dodawać coś
cząstkowe, widzimy, że dany predyktor przestaje dodawać coś
istotnego do zrozumienia zmiennej zależnej, jeśli jego korelacja
istotnego do zrozumienia zmiennej zależnej, jeśli jego korelacja
cząstkowa jest zdecydowanie mniejsza od oryginalnej. Oznacza
cząstkowa jest zdecydowanie mniejsza od oryginalnej. Oznacza
to, że po wyeliminowaniu zmienności wspólnej z innymi
to, że po wyeliminowaniu zmienności wspólnej z innymi
predyktorami ze związku między np. reaktywnością i zmienną
predyktorami ze związku między np. reaktywnością i zmienną
zależną niewiele pozostaje im wspólnego.
zależną niewiele pozostaje im wspólnego.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Rola korelacji cząstkowych
Rola korelacji cząstkowych
Patrząc na cząstkowe korelacje
Patrząc na cząstkowe korelacje
dostajemy czysty obraz związku,
dostajemy czysty obraz związku,
przy kontroli innych zmiennych i
przy kontroli innych zmiennych i
widać, które zmienne są lepszymi, a
widać, które zmienne są lepszymi, a
które gorszymi predyktorami.
które gorszymi predyktorami.
•
Sugerowane jest zrobienie regresji jeszcze
Sugerowane jest zrobienie regresji jeszcze
raz, tym razem z uwzględnieniem w
raz, tym razem z uwzględnieniem w
równaniu tylko istotnych predyktorów
równaniu tylko istotnych predyktorów
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
współczynniki b i bety zmieniają się
współczynniki b i bety zmieniają się
zależne od tego, które zmienne
zależne od tego, które zmienne
wprowadzimy do modelu
wprowadzimy do modelu
stąd jeśli interesuje nas predykcja
stąd jeśli interesuje nas predykcja
lepiej pozostać na poziomie prostej
lepiej pozostać na poziomie prostej
analizy regresji z 1 predyktorem,
analizy regresji z 1 predyktorem,
góra dwoma predyktorami – życie
góra dwoma predyktorami – życie
staje się prostsze.
staje się prostsze.
Metody wprowadzania
Metody wprowadzania
zmiennych
zmiennych
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Model regresji z większą liczbą
Model regresji z większą liczbą
predyktorów
predyktorów
Musimy się zastanowić jakie zmienne i w
Musimy się zastanowić jakie zmienne i w
jaki sposób wprowadzić zmienne do
jaki sposób wprowadzić zmienne do
modelu
modelu
Współczynniki regresji zależą od
Współczynniki regresji zależą od
zmiennych wprowadzonych do modelu
zmiennych wprowadzonych do modelu
•
Zmieniając konfigurację predyktorów w
Zmieniając konfigurację predyktorów w
modelu, zmieniamy współczynniki regresji
modelu, zmieniamy współczynniki regresji
•
Wybieramy predyktory ważne z ważne z
Wybieramy predyktory ważne z ważne z
perspektywy teorii
perspektywy teorii
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Kolejność zmiennych w
Kolejność zmiennych w
modelu
modelu
Kiedy predyktory nie są ze sobą
Kiedy predyktory nie są ze sobą
skorelowane a jedynie ze zmienną
skorelowane a jedynie ze zmienną
zależną
zależną
•
Kolejność wprowadzanie zmiennych
Kolejność wprowadzanie zmiennych
predykcyjnych nie ma znaczenia
predykcyjnych nie ma znaczenia
Rzeczywistość nie jest tak łaskawa
Rzeczywistość nie jest tak łaskawa
•
Rzadko mamy do czynienia z
Rzadko mamy do czynienia z
nieskorelowanymi predyktorami
nieskorelowanymi predyktorami
Wybór metody jest kluczową sprawą
Wybór metody jest kluczową sprawą
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Metoda wprowadzania
Metoda wprowadzania
Wszystkie predyktory są
Wszystkie predyktory są
wprowadzane do modelu
wprowadzane do modelu
jednocześnie
jednocześnie
Nie podejmujemy decyzji, które
Nie podejmujemy decyzji, które
zmienne mają wejść jako pierwsze do
zmienne mają wejść jako pierwsze do
modelu
modelu
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Metoda regresji
Metoda regresji
hierarchicznej
hierarchicznej
W regresji hierarchicznej predyktory
W regresji hierarchicznej predyktory
do modelu dobieramy na podstawie
do modelu dobieramy na podstawie
przeszłej wiedzy
przeszłej wiedzy
•
Badacz decyduje sam, w jakim porządku
Badacz decyduje sam, w jakim porządku
wprowadzić predyktory do modelu
wprowadzić predyktory do modelu
Najważniejsze pod względem siły
Najważniejsze pod względem siły
przewidywania powinny wejść na początku
przewidywania powinny wejść na początku
Potem nowe predyktory
Potem nowe predyktory
Przewidywanie
Przewidywanie
sprzedaży płyt
sprzedaży płyt
Na podstawie kwoty przeznaczonej na
Na podstawie kwoty przeznaczonej na
reklamę, częstości puszczania piosenek
reklamę, częstości puszczania piosenek
z tej płyty w rozgłośniach radiowych i
z tej płyty w rozgłośniach radiowych i
atrakcyjności zespołu
atrakcyjności zespołu
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
•
Współczynniki regresji dla wszystkich predyktorów
Współczynniki regresji dla wszystkich predyktorów
•
Stała
Stała
Jak obliczymy współczynniki, będziemy mogli
Jak obliczymy współczynniki, będziemy mogli
dokonać predykcji sprzedaży nie tylko na
dokonać predykcji sprzedaży nie tylko na
podstawie wydanych pieniędzy na reklamę,
podstawie wydanych pieniędzy na reklamę,
ale również i częstości puszczania danej
ale również i częstości puszczania danej
muzyki w radio i atrakcyjności zespołu
muzyki w radio i atrakcyjności zespołu
sc
atrakcyjno
radio
reklama
plyt
sprzedaz
3
2
1
0
b
b
b
b
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Korelacje
1,000
,578** ,102
,081
,
,000
,151
,256
200
200
200
200
,578** 1,000
,599**
,326**
,000
,
,000
,000
200
200
200
200
,102
,599** 1,000
,182**
,151
,000
,
,010
200
200
200
200
,081
,326** ,182**
1,000
,256
,000
,010
,
200
200
200
200
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
budżet w tysiącach
sprzedaż w tysiącach
liczba piosenek w
tygodniu
atrakcyjność grupy
budżet w
tysiącach
sprzedaż w
tysiącach
liczba
piosenek
w tygodniu
atrakcyjność
grupy
Korelacja jest istotna na poziomie 0.01 (dwustronnie).
**.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Metoda hierarchiczna
Metoda hierarchiczna
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
W drugim kroku…
W drugim kroku…
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Zmienne wprowadzone/usunięte
b
bud¿et w tysi¹cach
a
,
Wprowadzanie
atrakcyjnoϾ grupy, liczba
piosenek w tygodniu
a
,
Wprowadzanie
Model
1
2
Zmienne wprowadzone
Zmienne
usunięte
Metoda
Wszystkie wyspecyfikowane zmienne zostały wprowadzone.
a.
Zmienna zależna: sprzedaż w tysiącach
b.
Model - Podsumowanie
,578
a
,335
,331 65,9914
,335 99,587
1
198
,000
,815
b
,665
,660 47,0873
,330 96,447
2
196
,000
Model
1
2
R
R-kwadrat
Skorygowane
R-kwadrat
Błąd
standardowy
oszacowania
Zmiana
R-kwadrat
Zmiana F
df1
df2
Istotność
zmiany F
Statystyki zmiany
Predyktory: (Stała), budżet w tysiącach
a.
Predyktory: (Stała), budżet w tysiącach, atrakcyjność grupy, liczba piosenek w tygodniu
b.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Analiza wariancji
c
433688
1 433688 99,587
,000
a
862264
198 4354,9
1295952
199
861377
3 287126 129,498
,000
b
434575
196 2217,2
1295952
199
Regresja
Reszta
Ogółem
Regresja
Reszta
Ogółem
Model
1
2
Suma
kwadratów
df
Średni
kwadrat
F
Istotność
Predyktory: (Stała), budżet w tysiącach
a.
Predyktory: (Stała), budżet w tysiącach, atrakcyjność grupy, liczba piosenek w
tygodniu
b.
Zmienna zależna: sprzedaż w tysiącach
c.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Współczynniki
a
134,14
7,537
17,799
,000
,096
,010
,578 9,979
,000
-26,61
17,350
-1,534
,127
,085
,007
,511 12,261
,000
3,367
,278
,512 12,123
,000
11,086
2,438
,192 4,548
,000
(Stała)
budżet w tysiącach
(Stała)
budżet w tysiącach
liczba piosenek w
tygodniu
atrakcyjność grupy
Model
1
2
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczy
nniki
standaryz
owane
t
Istotność
Zmienna zależna: sprzedaż w tysiącach
a.
sc
atrakcyjno
09
,
11
radio)
37
,
3
(
reklama)
85
,
0
(
61
,
26
plyt
sprzedaz
Statystyki t - pokazują, czy predyktor przyczynia się istotnie do predykcji zmiennej zależnej
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Współczynnik b dla reklamy=0,085
Współczynnik b dla reklamy=0,085
•
Oznacza, że jeśli zwiększymy budżet na reklamę o jednostkę,
Oznacza, że jeśli zwiększymy budżet na reklamę o jednostkę,
sprzedaż płyt wzrośnie o 0,085 jednostek. Obie zmienne były w
sprzedaż płyt wzrośnie o 0,085 jednostek. Obie zmienne były w
tysiącach stąd, z każdym nowym tysiącem wydanym na
tysiącach stąd, z każdym nowym tysiącem wydanym na
reklamę sprzedaż wzrośnie o 0,085 tysiąca płyt (o 85 płyt)
reklamę sprzedaż wzrośnie o 0,085 tysiąca płyt (o 85 płyt)
•
Zakładając oczywiście, że pozostałe predyktory są na stałym
Zakładając oczywiście, że pozostałe predyktory są na stałym
poziomie
poziomie
Współczynnik b dla radia=3,367
Współczynnik b dla radia=3,367
•
Oznacza, że każde dodatkowe puszczenie piosenki w radiu
Oznacza, że każde dodatkowe puszczenie piosenki w radiu
przed sprzedażą na rynku płyt spowoduje, że sprzedaż
przed sprzedażą na rynku płyt spowoduje, że sprzedaż
wzrośnie o 3,367 jednostek ( o 3367 płyt )
wzrośnie o 3,367 jednostek ( o 3367 płyt )
•
Zakładając oczywiście, że pozostałe predyktory są na stałym
Zakładając oczywiście, że pozostałe predyktory są na stałym
poziomie
poziomie
łatwiejsze w interpretacji są wystandaryzowane
łatwiejsze w interpretacji są wystandaryzowane
współczynniki b
współczynniki b
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Metody regresji krokowej
Metody regresji krokowej
Decyzje o tym, które zmienne
Decyzje o tym, które zmienne
wchodzą do modelu są podejmowane
wchodzą do modelu są podejmowane
w oparciu o kryteria matematyczne
w oparciu o kryteria matematyczne
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Stepwise - krokowa
Stepwise - krokowa
Po dodaniu nowego predyktora do
Po dodaniu nowego predyktora do
modelu, sprawdzamy, czy któryś z
modelu, sprawdzamy, czy któryś z
predyktorów nie stracił czasem na
predyktorów nie stracił czasem na
ważności
ważności
•
Predyktor raz włączony do równania
Predyktor raz włączony do równania
może zostać z niego wyrzucony
może zostać z niego wyrzucony
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Zmienne wprowadzone/usunięte
a
liczba
piosenek w
tygodniu
,
Krokowa (Kryterium:
Prawdopodobieństwo F-wprowadzenia
<= ,050, Prawdopodobieństwo
F-usunięcia >= ,100).
budżet w
tysiącach
,
Krokowa (Kryterium:
Prawdopodobieństwo F-wprowadzenia
<= ,050, Prawdopodobieństwo
F-usunięcia >= ,100).
atrakcyjność
grupy
,
Krokowa (Kryterium:
Prawdopodobieństwo F-wprowadzenia
<= ,050, Prawdopodobieństwo
F-usunięcia >= ,100).
Model
1
2
3
Zmienne
wprowadzone
Zmienne
usunięte
Metoda
Zmienna zależna: sprzedaż w tysiącach
a.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Współczynniki
a
84,873 11,267
7,533 ,000
3,939
,374 ,599 10,5 ,000
41,124 9,331
4,407 ,000
3,589
,287 ,546 12,5 ,000
,087
,007 ,523 12,0 ,000
-26,61 17,350
-1,53 ,127
3,367
,278 ,512 12,1 ,000
,085
,007 ,511 12,3 ,000
11,086 2,438 ,192 4,548 ,000
(Stała)
liczba piosenek w
tygodniu
(Stała)
liczba piosenek w
tygodniu
budżet w tysiącach
(Stała)
liczba piosenek w
tygodniu
budżet w tysiącach
atrakcyjność grupy
Model
1
2
3
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczy
nniki
standaryz
owane
t
Istotność
Zmienna zależna: sprzedaż w tysiącach
a.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Metoda selekcji postępującej -
Metoda selekcji postępującej -
forward
forward
Początkowo model zawiera tylko stałą,
Początkowo model zawiera tylko stałą,
Spośród dostępnych predyktorów
Spośród dostępnych predyktorów
wyszukiwany jest ten, który najlepiej
wyszukiwany jest ten, który najlepiej
przewiduje zmienną wynikową
przewiduje zmienną wynikową
•
Na podstawie współczynnika korelacji –
Na podstawie współczynnika korelacji –
wchodzi ta zmienna, która najsilniej koreluje
wchodzi ta zmienna, która najsilniej koreluje
•
Potem szukamy kolejnego najlepszego
Potem szukamy kolejnego najlepszego
predyktora
predyktora
Taki, który ma największą korelację semicząstkową ze
Taki, który ma największą korelację semicząstkową ze
zmienną wynikową –
zmienną wynikową –
•
Usuwany wariancję wspólną drugiego predyktora z
Usuwany wariancję wspólną drugiego predyktora z
pierwszym i korelujemy ze zmienną zależną
pierwszym i korelujemy ze zmienną zależną
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Jeśli pierwszy predyktor wyjaśnił 60%
Jeśli pierwszy predyktor wyjaśnił 60%
wariancji w zmiennej zależnej
wariancji w zmiennej zależnej
•
Pozostaje jeszcze 40% do wyjaśnienia
Pozostaje jeszcze 40% do wyjaśnienia
•
Szukamy takiej zmiennej, która pozwoli
Szukamy takiej zmiennej, która pozwoli
nam wyjaśnić coś z pozostałych 40%
nam wyjaśnić coś z pozostałych 40%
wariancji
wariancji
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Eliminacja wsteczna
Eliminacja wsteczna
Procedura doboru zmiennych do
Procedura doboru zmiennych do
modelu, w ramach której wszystkie
modelu, w ramach której wszystkie
zmienne są wprowadzane do modelu,
zmienne są wprowadzane do modelu,
a następnie kolejno usuwane.
a następnie kolejno usuwane.
•
Zmienna, która ma najmniejszy
Zmienna, która ma najmniejszy
współczynnik korelacji semicząstkowej
współczynnik korelacji semicząstkowej
ze zmienną objaśnianą jest rozważana
ze zmienną objaśnianą jest rozważana
jako pierwsza do usunięcia.
jako pierwsza do usunięcia.
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Którą wybrać?
Którą wybrać?
Przy metodach krokowych – komputer
Przy metodach krokowych – komputer
podejmuje za nas decyzję o tym,
podejmuje za nas decyzję o tym,
które zmienne wejdą do modelu
które zmienne wejdą do modelu
•
Wchodzą te najsilniejsze – niekoniecznie
Wchodzą te najsilniejsze – niekoniecznie
najważniejsze z teoretycznego punktu
najważniejsze z teoretycznego punktu
•
Stosowane w modelach eksploracyjnych
Stosowane w modelach eksploracyjnych
Lepiej oprzeć się o przeszłe wyniki i
Lepiej oprzeć się o przeszłe wyniki i
teorię
teorię
Materiały do wykładu
Materiały do wykładu
Izabela Krejtz
Izabela Krejtz
Im mniej predyktorów tym
Im mniej predyktorów tym
lepiej
lepiej
Nie należy włączać zbyt wielu
Nie należy włączać zbyt wielu
predyktorów do modelu
predyktorów do modelu
•
Te, które mają znaczenie teoretyczne
Te, które mają znaczenie teoretyczne
•
Po przeprowadzeniu analizy z wszystkimi
Po przeprowadzeniu analizy z wszystkimi
predyktorami, jeszcze raz wykluczając
predyktorami, jeszcze raz wykluczając
zmienne nieistotnie przyczyniające się
zmienne nieistotnie przyczyniające się
wyjaśnienia zmienności zmiennej
wyjaśnienia zmienności zmiennej
zależnej
zależnej
Co najmniej po 15 osób na predyktor
Co najmniej po 15 osób na predyktor