ÿþA n a l i z a r e g r e s j i
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
R e g r e s j a w i e l o r a k a
R e g r e s j a w i e l o k r o t n a ( a n g . m u l t i p l e r e g r e s s i o n )
W i c e j n i | j e d n a z m i e n n a o b j a [n i a j c a
L i n i o w e r ó w n a n i e r e g r e s j i w i e l o r a k i e j p r z e d s t a w i a j c e j z a l e |n o [ z m i e n n e j Y
o d z m i e n n y c h o b j a [n i a j c y c h X 1 , X 2 , . . X m
Y = ± + ± X + ± X + . . . + ± X + µ
Y = ±0 + ±1 X 1 + ±2 X 2 + . . . + ±m X + µ
m
g d z i e :
Y z m i e n n a z a l e |n a , o b j a [n i a n a p r z e z d a n e r ó w n a n i e
X 1 , X 2 , . . X m z m i e n n e o b j a [n i a j c e
±0 , ±1 , . . ±m p a r a m e t r y , z w a n e w s p ó Bc z y n n i k a m i r e g r e s j i
µ s k Ba d n i k l o s o w y p r z y p a d k o w y .
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
Z a Bo |e n i a d l a m o d e l u r e g r e s j i
M o d e l j e s t l i n i o w y w z g l d e m p a r a m e t r ó w
Z m i e n n a o b j a [n i a j c a j e s t n i e l o s o w a , j e j w a r t o [c i s
u s t a l o n y m i l i c z b a m i r z e c z y w i s t y m i
S k Ba d n i k l o s o w y m a r o z k Ba d n o r m a l n y o w a r t o [c i
o c z e k i w a n e j r ó w n e j 0
S k Ba d n i k l o s o w y j e s t s f e r y c z n y
S k Ba d n i k l o s o w y j e s t s f e r y c z n y
N i e w y s t p u j e a u t o k o r e l a c j a
J e s t h o m o s k e d a s t y c z n y ( w a r i a n c j a j e s t s t a Ba n i e z a l e |n i e o d
w a r t o [c i w e k t o r a z m i e n n y c h o b j a [n i a j c y c h X )
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
P r ó b a
P r ó b a s k Ba d a s i z n o b s e r w a c j i d o k o n a n y c h n a z m i e n n y c h Y , X 1 , X 2 , . . . X m .
îø±0
ùø
y 1 1 x 1 1 x 1 2 . . . x 1 m µ1
îø ùø îø ùø îø ùø
ïø± úø
ïø úø ïø1 x 2 1 x 2 2 . . . x 2 m úø 1 ïøµ úø
ïø úø
y 2
2
ïø úø ïø úø ïø úø
ïø úø
y = , X = , ± = ±2 , µ =
ïø úø ïø úø ïø úø
. . . . . . . . .
ïø úø
ïø úø ïø úø ïø úø
ïø. . . úø
y n
ðø ûø ðø1 x n 1 x n 2 . . . x n m ûø ðøµn ûø
ïø±m úø
ðø ûø
g d z i e :
g d z i e :
y w e k t o r z a o b s e r w o w a n y c h w a r t o [c i z m i e n n e j z a l e |n e j Y
X m a c i e r z , k t ó r e j p i e r w s z k o l u m n t w o r z j e d y n k i , a p o z o s t a Be k o l u m n y t o w a r t o [c i
z m i e n n y c h o b j a [n i a j c y c h
± w e k t o r n i e z n a n y c h w a r t o [c i p a r a m e t r ó w r e g r e s j i
±
±
±
µ w e k t o r s k Ba d n i k ó w l o s o w y c h r ó w n a n i a
µ
µ
µ
R ó w n a n i e r e g r e s j i :
y = X ± µ
± + µ
± µ
± µ
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
P a r a m e t r y m o d e l u r e g r e s j i
P a r a m e t r y f u n k c j i r e g r e s j i s z a c u j e m y m e t o d
W e k t o r e s t y m a t o r ó w p a r a m e t r ó w
n a j m n i e j s z y c h k w a d r a t ó w .
m o d e l u r e g r e s j i :
Æ
±0
îø ùø
Æ
y = X ± + e ,
ïø± úø
Æ
1
ïø úø
- 1
ïø úø
Æ Æ
± = ±2 = X T X X T y
( )
g d z i e e o z n a c z a w e k t o r r e s z t .
g d z i e e o z n a c z a w e k t o r r e s z t .
ïø úø
ïø úø
ïø. . . úø
e = y - w
ïø±m úø
Æ
ðø ûø
W a r t o [c i t e o r e t y c z n e w y z n a c z o n e n a p o d s t a w i e m o d e l u :
Æ
w = X ±
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
Z m i e n n o [ z m i e n n e j c e l u
S u m a k w a d r a t ó w yr ó d Bo S t o p n i e Zr e d n i k w a d r a t
s w o b o d y
z m i e n n o [c i
2 B Bd
S S E
S S E n - m - 1 M S E
M S E =
S S E =
y - w
"( ) l o s o w y
( m e a n s q u a r e e r r o r )
( s u m o f s q u a r e s e r r o r )
n - m - 1
" S u m a k w a d r a t ó w b Bd u
S S R
o s z a c o w a n i a
M S R =
" S u m a k w a d r a t ó w b Bd ó w
m
" Z m i e n n o [ n i e w y j a [n i o n a
R e g r e s j a
S S R m M S R
2
( s u m o f s q u a r e s r e g r e s s i o n ) ( m e a n s q u a r e r e g r e s s i o n )
S S R =
w- y
w- y
"( )
"( )
" R e g r e s y j n a s u m a
" R e g r e s y j n a s u m a
k w a d r a t ó w
" S u m a k w a d r a t ó w o d c h y l e D
r e g r e s y j n y c h
" Z m i e n n o [ w y j a [n i o n a
2
O d c h y l e n i e
S S T = S S E + S S R n - 1
S S T =
y - y
"( )
c a Bk o w i t e
( s u m o f s q u a r e s t o t a l )
C a Bk o w i t a s u m a k w a d r a t ó w
S S R
W s p ó Bc z y n n i k d e t e r m i n a c j i :
R 2 =
S S T
M S R
S t a t y s t y k a F :
F =
M S E
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
O s z a c o w a n i e d o p a s o w a n i a m o d e l u
" w a r i a n c j a s k Ba d n i k a r e s z t o w e g o ( w a r i a n c j a r e s z t o w a ) o r a z o d c h y l e n i e
s t a n d a r d o w e s k Ba d n i k a r e s z t o w e g o
e T e
S 2 =
n - ( m + 1 )
" w s p ó Bc z y n n i k z m i e n n o [c i r e s z t o w e j
S
V =
y
y
" w s p ó Bc z y n n i k z b i e |n o [c i
e T e
2
Õ =
1
y T y - ( 1 T y ) 2
n
" K w a d r a t w s p ó Bc z y n n i k a k o r e l a c j i w i e l o r a k i e j ( w s p ó Bc z y n n i k d e t e r m i n a c j i )
2
R 2 = 1 - Õ
" O d c h y l e n i a s t a n d a r d o w e e s t y m a t o r ó w p a r a m e t r ó w m o d e l u r e g r e s j i
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
M o d e l r e g r e s j i z j e d n z m i e n n o b j a [n i a j c
D l a m o d e l u r e g r e s j i l i n i o w e j i m = 1 ( j e d n a z m i e n n a o b j a [n i a j c a ) o d p o w i e d n i e w z o r y
m a c i e r z o w e p r z y j m u j p o s t a :
n
( x - x ) ( y - y )
" i i
i = 1
±Æ
=
1
n
2
( x - x )
( x - x )
" i
" i
i = 1
±Æ
= y - ±Æ
x
0 1
Æ Æ
wi = ±0 + ±1 x i
W a r i a n c j a r e s z t o w a :
n
"( w - y )
i
2
i = 1
S =
n - 2
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
M i a r y d o p a s o w a n i a m o d e l u
B Bd y s t a n d a r d o w e o s z a c o w a n i a p a r a m e t r ó w m o d e l u
r e g r e s j i ( o d c h y l e n i a s t a n d a r d o w e d l a e s t y m a t o r ó w ) :
n
2
S Å"
"x
i
S
i = 1
S ± = S ± =
Æ Æ
1 0
n n
2 2
x i
( - x n Å" x i - x
) ( )
" "
i = 1 i = 1
K w a d r a t w s p ó Bc z y n n i k a k o r e l a c j i w i e l o r a k i e j :
n
2
"( wi - y )
i = 1
i = 1
R 2 = = 1 - Õ2
R 2 = = 1 - Õ2
n
2
"( y i - y )
i = 1
W s p ó Bc z y n n i k z b i e |n o [c i :
n
2
"( y i - wi )
i = 1
Õ2 =
n
2
"( y i - y )
i = 1
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
P r z y k Ba d
B a d a j c z a l e |n o [ p o m i d z y n a k Ba d a m i n a r e k l a m w m e d i a c h a p o z i o m e m s p r z e d a |y o t r z y m a n o d l a w y b r a n e j l o s o w o p r ó b y
p r o d u k t ó w t e g o s a m e g o t y p u n = 7 z e s t a w i e n i a ( x n a k Ba d y n a r e k l a m , y - s p r z e d a |) :
x i 1 2 3 4 5 6 7
y i 8 1 3 1 4 1 7 1 8 2 0 2 2
( x i
x i y i - x ) - y ) - x ) ( y i - y ) - x ) e i 2 x i 2
( y i ( x i wi e i = y i - wi
( x i 2
1 8 - 3 - 8 2 4 9 9 , 5 8 - 1 , 5 8 2 , 5 0 1
1 8 - 3 - 8 2 4 9 9 , 5 8 - 1 , 5 8 2 , 5 0 1
2 1 3 - 2 - 3 6 4 1 1 , 7 2 1 , 2 8 1 , 6 4 4
3 1 4 - 1 - 2 2 1 1 3 , 8 6 0 , 1 4 0 , 0 2 9
4 1 7 0 1 0 0 1 6 1 1 , 0 0 1 6
5 1 8 1 2 2 1 1 8 , 1 4 - 0 , 1 4 0 , 0 2 2 5
6 2 0 2 4 8 4 2 0 , 2 8 - 0 , 2 8 0 , 0 8 3 6
7 8 3 6 1 8 9 2 2 , 4 2 - 0 , 4 2 0 , 1 8 4 9
£ = 2 8 £ = 1 1 2 £ = 6 0 £ = 2 8 £ = 5 , 4 3 £ = 1 4 0
x = 4 y = 1 6
6 0
Æ
±1 = = 2 , 1 4
2 8
Æ
±0 = 1 6 - 4 Å" 2 , 1 4 = 7 , 4 4
R ó w n a n i e p r o s t e j r e g r e s j i :
Y = 2 , 1 4 Å" X + 7 , 4 4
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
P r z y k Ba d - c d .
W a r i a n c j a r e s z t o w a i o d c h y l e n i e s t a n d a r d o w e :
5 , 4 3
2
S = = 1 , 0 9
7 - 2
S = 1 , 0 9 = 1 , 0 4
O d c h y l e n i a s t a n d a r d o w e w s p ó Bc z y n n i k ó w r e g r e s j i :
1 , 0 4
S ± = = 0 , 2 0
1
2 8
1 , 0 4 Å" 1 4 0
1 , 0 4 Å" 1 4 0
S = = 0 , 8 7
S ± = = 0 , 8 7
0
7 Å" 2 8
A n a l i z a i s t o t n o [c i w s p ó Bc z y n n i k ó w ( n a p o z i o m i e i s t o t n o [c i ±= 0 , 0 5 )
D l a ±0 :
7 , 4 4
S t a t y s t y k a T = = 8 , 5 5 ,
0 , 8 7
t ± = 2 , 5 7 1
D l a ±1 :
2 , 1 4
S t a t y s t y k a T = = 1 0 , 7
0 , 2 0
t ± = 2 , 5 7 1
W o b y d w u p r z y p a d k a c h w a r t o [c i s t a t y s t y k i T t r a f i a j d o o b s z a r u k r y t y c z n e g o d l a
t e s t o w a n e j h i p o t e z y , a z a t e m h i p o t e z z e r o w n a l e |y o d r z u c i . G r a n i c z n e p o z i o m y
w s p ó Bc z y n n i k ó w i s t o t n o [c i , p r z y k t ó r y c h n i e b y Bo b y p o d s t a w d o o d r z u c e n i a h i p o t e z y s
m n i e j s z e o d 0 , 0 0 1 .
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
T e s t o w a n i e h i p o t e z
W e r y f i k a c j a h i p o t e z y z e r o w e j H 0
W y b ó r o d p o w i e d n i e j s t a t y s t y k i U , k t ó r e j r o z k Ba d j e s t z n a n y ( t e s t
h i p o t e z y )
U s t a l e n i e z b i o r u w a r t o [c i W t y c h w a r t o [c i s t a t y s t y k i U , k t ó r y c h
w y s t p i e n i e u w a |a m y z a z a p r z e c z e n i e h i p o t e z i e z e r o w e j ( z b i ó r
k r y t y c z n y )
P r a w d o p o d o b i e Ds t w o o d r z u c e n i a h i p o t e z y z e r o w e j , g d y j e s t o n a
P r a w d o p o d o b i e Ds t w o o d r z u c e n i a h i p o t e z y z e r o w e j , g d y j e s t o n a
p r a w d z i w a ( p o z i o m i s t o t n o [c i t e s t u ) :
P U "W H 0 = ±
( )
R z e c z y w i s t o [
H i p o t e z a z e r o w a P r a w d z i w a F a Bs z y w a
P r z y j c i e P o p r a w n a d e c y z j a B Bd I I r o d z a j u
O d r z u c e n i e B Bd I r o d z a j u P o p r a w n a d e c y z j a
( p o z i o m i s t o t n o [c i )
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
W a r t o [ p
P r a w d o p o d o b i e Ds t w o w y s t p i e n i a o b s e r w o w a n y c h
w y n i k ó w w p r z y p a d k u j e |e l i h i p o t e z a z e r o w a j e s t
p r a w d z i w a
M i a r a w i a r y g o d n o [c i h i p o t e z y z e r o w e j
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
T e s t t i s t o t n o [c i p a r a m e t r u r e g r e s j i
B a d a n i e z a l e |n o [c i p o m i d z y z m i e n n c e l u y a z m i e n n
o b j a [n i a j c x i z u w z g l d n i e n i e m p o z o s t a By c h z m i e n n y c h
o b j a [n i a j c y c h
H 0 : ±i = 0 H 0 : y = ±0 + ±1 Å" x 1 + . . . + ±i - 1 Å" x i - 1 + ±i + 1 Å" x i + 1 + . . . ±m Å" x m
H 1 : ±i `" 0 H 1 : y = ±0 + ±1 Å" x 1 + . . . + ±i - 1 Å" x i - 1 + ±i Å" x i + ±i + 1 Å" x i + 1 + . . . ±m Å" x m
S t a t y s t y k a t - r o z k Ba d t - s t u d e n t a z n - m - 1 s t o p n i a m i s w o b o d y
S t a t y s t y k a t - r o z k Ba d t - s t u d e n t a z n - m - 1 s t o p n i a m i s w o b o d y
±i
t =
S ±
i
O b s z a r k r y t y c z n y - j e |e l i w a r t o [ s t a t y s t y k i z n a j d z i e s i w o b s z a r z e
k r y t y c z n y m , o z n a c z a t o |e h i p o t e z z e r o w n a l e |y o d r z u c i .
K = - ", - t ± *" t ± , + "
( )
p w a r t o [
p = P T > t
( )
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
T e s t F i s t o t n o [c i m o d e l u r e g r e s j i
B a d a n i e l i n i o w e j z a l e |n o [c i p o m i d z y z m i e n n c e l u a
z b i o r e m z m i e n n y c h o b j a [n i a j c y c h t r a k t o w a n y c h j a k o
c a Bo [
H 0 : ±1 = ±2 = . . . = ±m = 0
H 1 : "±i `" 0
S t a t y s t y k a F
S t a t y s t y k a F
2
S S R
w- y
"( )
M S R n - m - 1
m
F = = = Å"
2
S S E
M S E m
w- y
"( )
n - m - 1
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
Z m i e n n e j a k o [c i o w e w m o d e l u r e g r e s j i
W y k s z t a Bc e n i e
Z m i e n n a o b j a [n i a j c a d y s k r e t n a p r z y j m u j c a
P o d s t a w o w e
k - w a r t o [c i
Zr e d n i e
W y |s z e
k - 1 z m i e n n y c h o b j a [n i a j c y c h b i n a r n y c h
( z m i e n n e w s k a zn i k o w e , z m i e n n e s z t u c z n e )
W y k s z t a Bc e n i e W y k s z t a Bc e n i e _ S W y k s z t a Bc e n i e _ W
P o d s t a w o w e 0 0
Zr e d n i e 1 0
W y |s z e 0 1
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
M e t o d y w y b o r u z m i e n n y c h o b j a [n i a j c y c h
M e t o d a d o Bc z a n i a ( a n g . f o r w a r d s e l e c t i o n )
D o Bc z a m y z m i e n n e z n a j w y |s z w a r t o [c i s t a t y s t y k i F ( ) d o
c h w i l i i s p r a w d z a m y i s t o t n o [ s e k w e n c y j n e j s t a t y s t y k i F .
M e t o d a e l i m i n a c j i ( a n g . b a c k w a r d e l i m i n a t i o n )
U s u w a m y z m o d e l u z m i e n n z n a j m n i e j s z w a r t o [c i c z [c i o w e j
s t a t y s t y k i F .
s t a t y s t y k i F .
M e t o d a k r o k o w a ( a n g . s t e p w i s e )
P o d o Bc z e n i u z m i e n n e j u s u w a n a j e s t t a , k t ó r a n i e j e s t i s t o t n a .
M e t o d a n a j l e p s z y c h p o d z b i o r ó w
M a k s y m a l n a l i c z b a p z m i e n n y c h o b j a [n i a j c y c h o r a z k - m o d e l i
d l a k a |d e j l i c z b y z m i e n n y c h o b j a [n i a j c y c h d o 1 d o p .
M e t o d a w s z y s t k i c h m o |l i w y c h r e g r e s j i
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
C z [c i o w y t e s t F
S e k w e n c y j n e s u m y k w a d r a t ó w ( s e q u e n t i a l s u m o f s q u a r e s )
P o d z i a B s u m y k w a d r a t ó w o d c h y l e D r e g r e s j i n a c z [c i w y j a [n i a n e p r z e z
z m i e n n o b j a [n i a j c , p o u w z g l d n i e n i u w c z e [n i e j w p r o w a d z o n y c h
z m i e n n y c h
W a r t o [c i s e k w e n c y j n y c h s u m k w a d r a t ó w z a l e | o d k o l e j n o [c i
w p r o w a d z a n i a z m i e n n y c h d o m o d e l u
W m o d e l u m a m y j u | p - z m i e n n y c h s p r a w d z e n i e c z y w m o d e l u
W m o d e l u m a m y j u | p - z m i e n n y c h s p r a w d z e n i e c z y w m o d e l u
p o w i n n a z o s t a u w z g l d n i o n a d o d a t k o w a z m i e n n a
S S i = S S x i x 1 , x 2 . . . , x i - 1
( )
S S i = S S R i - S S R i - 1
S t a t y s t y k a
S S i
F x i x 1 , x 2 . . . , x i - 1 =
( )
M S E
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
R e g r e s j a l o g i s t y c z n a
P r e d y k c j a w a r t o [c i z m i e n n e j d y s k r e t n e j ( b i n a r n e j )
E s t y m a c j a p r a w d o p o d o b i e Ds t w a p r z y j c i a p r z e z
z m i e n n o b j a [n i a j c k o n k r e t n e j w a r t o [c i
0
e ± + ±1 Å"x 1 + . . . + ±m Å"x m
p x = E Y x =
( ) ( )
0
1 + e ± + ±1 Å"x 1 + . . . + ±m Å"x m
I l o r a z s z a n s
p x
( )
O R =
1 - p x
( )
T r a n s f o r m a c j a l o g i t o w a
p x
( )
g x = l n = ±0 + ±1 Å" x 1 + . . . + ±m Å" x m
( )
1 - p x
( )
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
E s t y m a c j a p a r a m e t r ó w
E s t y m a c j a m e t o d n a j w i k s z e j w i a r y g o d n o [c i
F u n k c j a w i a r y g o d n o [c i l ( ±| x ) o k r e [l a p - s t w o u z y s k a n i a
o b s e r w o w a n y c h d a n y c h x .
n
y i 1 - y i
l ± x = ùø ùø
( )
"îø p ( x i ) ûø Å"îø1 - p ( x i ) ûø
ðø ðø
i = 1
M a k s y m a l i z a c j a f u n k c j i w i a r y g o d n o [c i p o s z u k u j e m y t a k i e g o
o s z a c o w a n i a n i e z n a n y c h p a r a m e t r ó w , d l a k t ó r e g o
p r a w d o p o d o b i e Ds t w o o t r z y m a n i a z a o b s e r w o w a n y c h w a r t o [c i
j e s t n a j w i k s z e .
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
L i t e r a t u r a
A . Z e l i a [, B . P a w e Be k , S . W a n a t M e t o d y s t a t y s t y c z n e Z a d a n i a i
s p r a w d z i a n y , P o l s k i e W y d a w n i c t w o E k o n o m i c z n e 2 0 0 2
H a n d D a v i d , M a n n i l a H e i k k i , S m y t h P a d h r a i c E k s p l o r a c j a d a n y c h ,
W N T 2 0 0 5
D a n i e l T . L a r o s e M e t o d y i m o d e l e e k s p l o r a c j i d a n y c h W y d a w n i c t w o
N a u k o w e P W N 2 0 0 8
A . P l u c i Ds k a , E . P l u c i Ds k i , P r o b a b i l i s t y k a , W N T 2 0 0 0
A . P l u c i Ds k a , E . P l u c i Ds k i , P r o b a b i l i s t y k a , W N T 2 0 0 0
m a r c i n . m a z u r e k @ w a t . e d u . p l 2 0 0 9
Wyszukiwarka
Podobne podstrony:
Analiza regresji21 Analiza regresjiAnaliza regresji liniowejAnaliza regresji wykład i lista nr 33 Analiza regresji06 ANALIZA REGRESJIBlyskawiczna analiza regresji SnapStatanaliza regresjiElementy analizy korelacji i regresjianalizy opisowa, regresji i wariancjiAnaliza Matematyczna 2 Zadaniaanalizaregresja empirycznaANALIZA KOMPUTEROWA SYSTEMÓW POMIAROWYCH — MSEAnaliza stat ścianki szczelnejAnaliza 1Analiza?N Ocena dzialan na rzecz?zpieczenstwa energetycznego dostawy gazu listopad 09więcej podobnych podstron