ÿþw i c z e n i a 2
±É
1 ) W y g e n e r u j s y s t e m d e c y z y j n y z a p o m o c p r o g r a m u d s g e n e r a t o r . e x e .
2 ) Z o t r z y m a n e g o s y s t e m u z b u d u j d r z e w o d e c y z y j n e p r z y p o m o c y a l g o r y t m u I D 3 .
D r z e w a D e c y z y j n e - a l g o r y t m I D 3 :
Z a c z n i j m y o d b a z o w y c h i n f o r m a c j i .
P o d s t a w o w a t e o r i a
A l g o r y t m I D 3 z o s t a B z a p r o j e k t o w a n y p r z e z R o s s a Q u i n l a n a , k t ó r y n a s t p n i e p r z e -
k s z t a Bc i B g o w p o p u l a r n m e t o d C 4 . 5 i C 5 . 0 . W m e t o d z i e I D 3 b u d o w a n e j e s t d r z e w o
d e c y z y j n e z p e w n e g o s y s t e m u d e c y z y j n e g o t r e n i n g o w e g o u |y w a j c p o j c i a z y s k u i n -
f o r m a c y j n e g o ( I n f o r m a t i o n G a i n ) b a z u j c e g o n a e n t r o p i i ( E n t r o p h y ) . P r z y k a |d y m
w zl e , a l g o r y t m I D 3 w y b i e r a a t r y b u t , k t ó r y n a j l e p i e j d z i e l i z b i ó r o b i e k t ó w n a k l a -
s y d e c y z y j n e d a j c n a j w i k s z y z y s k i n f o r m a c y j n y . M ó w i c o z y s k u i n f o r m a c y j n y m ,
m a m y n a m y [l i r ó |n i c e n t r o p i i w z Ba g Bó w n e g o z e n t r o p i a m i p o d w z Bó w ( p o z i o m u
n i |s z e g o ) . N a p o d s t a w i e z y s k u i n f o r m a c y j n e g o w y b i e r a n y j e s t a t r y b u t s Bu |c y d o
p o d z i a Bu d a n y c h ( w i e r z c h o Be k ) . A t r y b u t z n a j w i k s z y m z n o r m a l i z o w a n y m z y s k i e m
i n f o r m a c y j n y m j e s t w y b i e r a n y d o p o d e j m o w a n i a d e c y z j i . A l g o r y t m I D 3 d z i a Ba r e -
k u r e n c y j n i e d l a m n i e j s z y c h p o d s y s t e m ó w d e c y z y j n y c h .
W a l g o r y t m i e I D 3 m o |e m y n a p o t k a k i l k a t y p o w y c h s y t u a c j i ,
" J e |e l i w s z y s t k i e p r z y k Ba d y n a l e | d o t e j s a m e j k l a s y . W t y m p r z y p a d k u , p r o -
s t o t w o r z y m y l i [ d r z e w a d e c y z y j n e g o w y b i e r a j c d a n k l a s d e c y z y j n .
" G d y |a d n a z c e c h n i e d o s t a r c z a j a k i e g o k o l w i e k z y s k u i n f o r m a c y j n e g o , t w o r z y m y
w z e B d e c y z y j n y w y |e j o j e d e n p o z i o m , u |y w a j c s p o d z i e w a n e j w a r t o [c i k l a s y .
" W p r z y p a d k u g d y n a p o t k a m y n i e w i d z i a n w c z e [n i e j k l a s d e c y z y j n , t w o r z y m y
w z e B d e c y z y j n y w y |e j u |y w a j c s t o s o w n e j w a r t o [c i .
Z a k Ba d a j c , |e
" p •" j e s t p r o p o r c j p r z y k Ba d ó w p o z y t y w n y c h ( i l o [ o b i e k t ó w z d e c y z j p o z y t y w -
n / i l o [ r o z w a |a n y c h o b i e k t ó w )
" p p r o p o r c j a p r z y k Ba d ó w n e g a t y w n y c h ( i l o [ o b i e k t ó w z d e c y z j n e g a t y w n / i l o [
r o z w a |a n y c h o b i e k t ó w )
E n t r o p i p e w n e g o p o d z i a Bu n a k l a s y d e c y z y j n e S d e f i n i u j e m y j a k o
E n t r o p h y ( S ) = - p •"l o g 2 p •" - p l o g 2 p
D l a w i k s z e j i l o [c i k l a s c i , i = 1 , . . . , k , e n t r o p i m o |e m y z d e f i n i o w a n a s t p u j c o
k
E n t r o p h y ( S ) = - p i l o g 2 p i
i = 1
p i j e s t p r o p o r c j S n a l e |c d o k l a s y c i ( i l o [ o b i e k t ó w k l a s y c i d o w s z y s t k i c h r o z -
w a |a n y c h )
Z y s k i n f o r m a c y j n y ( i n f o r m a t i o n g a i n ) d e f i n i u j e m y j a k o
S v
G a i n ( S , A ) = E n t r o p h y ( S ) - " E n t r o p h y ( S v )
S
v "V a l u e s ( A )
S v
" E n t r o p h y ( S v ) j e s t s p o d z i e w a n w a r t o [c i e n t r o p i i p o p o d z i a l e S
v "V a l u e s ( A )
S
p r z y p o m o c y a t r y b u t u A .
V a l u e s ( A ) t o z b i ó r m o |l i w y c h w a r t o [c i a t r y b u t u A .
S v j e s t p o d z b i o r e m S d e f i n i o w a n y m j a k o S v = { s " S | A ( s ) = v }
W Ba s n o [c i e n t r o p i i ,
" E n t r o p i a j e s t r ó w n a 1 g d y m a m y t y l e s a m o p r z y k Ba d ó w n e g a t y w n y c h i p o z y t y w -
n y c h
" E n t r o p i a j e s t r ó w n a 0 g d y w s z y s t k i e o b i e k t y n a l e | d o t e j s a m e j k l a s y d e c y z y j n e j
( s p o z y t y w n e l u b n e g a t y w n e )
" J e |e l i p o d s y s t e m z a w i e r a n i e r ó w n l i c z b p r z y k Ba d ó w p o z y t y w n y c h i n e g a t y w n y c h
e n t r o p i a j e s t z p r z e d z i a Bu ( 0 , 1 ) i j e j w y k r e s w z a l e |n o [c i o d p r o p o r c j i p r z y k Ba d ó w
p o z y t y w n y c h p r z e d s t a w i a s i n a s t p u j c o ,
R y s 1 : W y k r e s E n t r o p i i
P r z y k Ba d b u d o w a n i a d r z e w a d e c y z y j n e g o z a p r o p o n o w a n y p r z e z
R o s s a Q u i n l a n a
D z i e D P o g o d a T e m p e r a t u r a W i l g o t n o [ W i a t r G r a m w T e n i s a
D 1 S Bo n e c z n a G o r c o W y s o k a S Ba b y N i e
D 2 S Bo n e c z n a G o r c o W y s o k a M o c n y N i e
D 3 P o c h m u r n a G o r c o W y s o k a S Ba b y T a k
D 4 D e s z c z o w a Aa g o d n i e W y s o k a S Ba b y T a k
D 5 D e s z c z o w a C h Bo d n o N o r m a l n a S Ba b y T a k
D 6 D e s z c z o w a C h Bo d n o N o r m a l n a M o c n y N i e
D 7 P o c h m u r n a C h Bo d n o N o r m a l n a M o c n y T a k
D 8 S Bo n e c z n a Aa g o d n i e W y s o k a S Ba b y N i e
D 9 S Bo n e c z n a C h Bo d n o N o r m a l n a S Ba b y T a k
D 1 0 D e s z c z o w a Aa g o d n i e N o r m a l n a S Ba b y T a k
D 1 1 S Bo n e c z n a Aa g o d n i e N o r m a l n a M o c n y T a k
D 1 2 P o c h m u r n a Aa g o d n i e W y s o k a M o c n y T a k
D 1 3 P o c h m u r n a G o r c o N o r m a l n a S Ba b y T a k
D 1 4 D e s z c z o w a Aa g o d n i e W y s o k a M o c n y N i e
Z a n i m p r z e j d z i e m y d o s z a c o w a n i a e n t r o p i i , w a r t o p r z y p o m n i e w Ba s n o [c i l o g a r y t -
m ó w , p r z y d a t n e w o b l i c z e n i a c h .
" l o g a b = c Ô! a c = b
" l o g a 1 = 0 p o n i e w a | a 0 = 1
" l o g a a = 1 p o n i e w a | a 1 = a
a
" a l o g b = b
" l o g a b 1 " b 2 = l o g a b 1 + l o g a b 2
" l o g a b 1 = l o g a b 1 - l o g a b 2
b 2
" l o g a b m = m " l o g a b
l o g c b
" l o g a b =
l o g c a
1
" l o g a b =
l o g b a
W n a s z y m s y s t e m i e d e c y z y j n y m S m a m y 1 4 p r z y k Ba d ó w , w t y m 9 p o z y t y w n y c h
z d e c y z j T a k o r a z 5 n e g a t y w n y c h z d e c y z j N i e . E n t r o p i a S r e l a t y w n a d o k l a s y f i -
k a c j i B o o l o w s k i e j j e s t p o s t a c i :
S : [ 9 + , 5 - ]
E n t r o p h y ( S ) = - p •"l o g 2 p •" - p l o g 2 p
9 5
9 9 5 5 9 5
1 4 1 4
E n t r o p h y ( S ) = E n t r o p h y [ 9 + , 5 - ] = - l o g 2 1 4 - l o g 2 1 4 = - ( l o g 2 ( 1 4 " ) )
1 4 1 4 1 4
= - l o g 2 ( 0 . 5 2 1 1 2 9 5 7 6 2 ) H" 0 . 9 4 0
D l a W i l g o t n o [c i , e n t r o p i w a r t o [c i W y s o k a o r a z N o r m a l n a o b l i c z a m y n a s t p u j -
c o ,
3 4
4 4
7 7
E n t r o p h y [ 3 + , 4 - ] = - 3 l o g 2 3 - l o g 2 4 = - ( l o g 2 ( 3 " ) ) = - l o g 2 ( 0 . 5 0 5 1 4 ) H" 0 . 9 8 5
7 7 7 7 7 7
6 1
1 1
7 7
E n t r o p h y [ 6 + , 1 - ] = - 6 l o g 2 6 - l o g 2 1 = - ( l o g 2 ( 6 " ) ) = - l o g 2 ( 0 . 6 6 3 5 7 3 0 5 9 8 ) H"
7 7 7 7 7 7
0 . 9 9 2 . Z o b r a z o w a n i e p o d z i a Bu m o |e m y z o b a c z y n a R y s u n k u 2 .
P o d z i a B d e t e r m i n u j e z y s k i n f o r m a c y j n y p o s t a c i ,
7 7
G a i n ( S , W i l g o t n o [) = 0 . 9 4 0 - ( 1 4 " 0 . 9 8 5 ) - ( 1 4 " 0 . 5 9 2 ) = 0 . 9 4 0 - 0 . 4 9 3 5 - 0 . 2 9 6 =
0 . 1 5 1
R y s 2 : W y l i c z a n i e e n t r o p i i p o d z i a Bu n a p o d s t a w i e W i l g o t n o [c i
W y k o n u j e m y a n a l o g i c z n e o b l i c z e n i a d l a p o d z i a Bó w n a p o d s t a w i e a t r y b u t ó w : W i a t r ,
P o g o d a o r a z T e m p e r a t u r a . W y n i k i m o |e m y z o b a c z y n a R y s u n k a c h 3 , 4 , 5 .
8 6
G a i n ( S , W i a t r ) = 0 . 9 4 0 - ( 1 4 " 0 . 8 1 1 ) - ( 1 4 " 1 . 0 ) = 0 . 0 4 8
R y s 3 : W y l i c z a n i e e n t r o p i i p o d z i a Bu n a p o d s t a w i e W i a t r u
5 5
G a i n ( S , P o g o d a ) = 0 . 9 4 0 - ( 1 4 " 0 . 9 7 1 ) - ( 1 4 " 0 . 9 7 1 ) = 0 . 2 4 6
R y s 4 : W y l i c z a n i e e n t r o p i i p o d z i a Bu n a p o d s t a w i e P o g o d y
4 4 6
G a i n ( S , T e m p e r a t u r a ) = 0 . 9 4 0 - ( 1 4 " 1 . 0 ) - ( 1 4 " 0 . 8 1 1 ) - ( 1 4 " 0 . 9 1 8 ) = 0 . 0 2 9
R y s 5 : W y l i c z a n i e e n t r o p i i p o d z i a Bu n a p o d s t a w i e T e m p e r a t u r y
S o r t u j e m y a t r y b u t y n a p o d s t a w i e o t r z y m a n e g o z y s k u i n f o r m a c y j n e g o ( G a i n ) ,
G a i n ( S , P o g o d a ) = 0 . 2 4 6
G a i n ( S , W i l g o t n o [) = 0 . 9 4 0 - 0 . 4 9 3 5 - 0 . 2 9 6 = 0 . 1 5 1
G a i n ( S , W i a t r ) = 0 . 0 4 8
G a i n ( S , T e m p e r a t u r a ) = 0 . 0 2 9
N a j w i k s z y z y s k i n f o r m a c y j n y m a m y d l a P o g o d y , s t d P o g o d a s t a j e s i k o r z e n i e m
n a s z e g o d r z e w a , p a t r z R y s u n e k 6 .
R y s 6 : P o g o d a u z y s k a Ba n a j w i k s z y z y s k i n f o r m a c y j n y s t d s t a j e s i k o r z e n i e m
d r z e w a
W i d z i m y , |e w p r z y p a d k u P o c h m u r n e j P o g o d y o d p o w i e d z j e s t d e t e r m i n i s t y c z n a s t d
t w o r z y m y l i [ z o d p o w i e d z i T a k . W p r z y p a d k u P o g o d y S Bo n e c z n e j i D e s z c z u
n i e m a m y j e s z c z e j e d n o z n a c z n e j o d p o w i e d z i c z y g r a c z y n i e s t d p r z e c h o d z i m y
d o w y s z u k i w a n i a k o l e j n y c h w z Bó w z a c z y n a j c o d P o g o d y S Bo n e c z n e j . R o z w a |a m y
n a s t p u j c y p o d s y s t e m d e c y z y j n y ,
D z i e D P o g o d a T e m p e r a t u r a W i l g o t n o [ W i a t r G r a m w T e n i s a
D 1 S Bo n e c z n a G o r c o W y s o k a S Ba b y N i e
D 2 S Bo n e c z n a G o r c o W y s o k a M o c n y N i e
D 8 S Bo n e c z n a Aa g o d n i e W y s o k a S Ba b y N i e
D 9 S Bo n e c z n a C h Bo d n o N o r m a l n a S Ba b y T a k
D 1 1 S Bo n e c z n a Aa g o d n i e N o r m a l n a M o c n y T a k
W y n i k i p o d z i a Bu n a p o d s t a w i e T e m p e r a t u r y , W i l g o t n o [c i o r a z W i a t r u m o |e m y z o -
b a c z y n a R y s u n k a c h 7 , 8 , 9 .
G a i n ( S o n e c z n a , T e m p e r a t u r a ) = 0 . 9 7 1 - ( 2 " 0 ) - ( 2 " 1 ) - ( 1 " 0 ) = 0 . 5 7 1
5 5 5
R y s 7 : S p r a w d z a m y z y s k i n f o r m a c y j n y d l a T e m p e r a t u r y p r z y S Bo n e c z n e j P o g o d z i e
G a i n ( S o n e c z n a , W i l g o t n o ) = 0 . 9 7 1
R y s 8 : S p r a w d z a m z y s k i n f o r m a c y j n y d l a W i l g o t n o [c i p r z y S Bo n e c z n e j P o g o d z i e
G a i n ( S o n e c z n a , W i a t r ) = 0 . 9 7 1 - ( 2 " 1 . 0 ) - ( 3 " 0 . 9 1 8 ) = 0 . 0 4 9
5 5
R y s 9 : S p r a w d z a m z y s k i n f o r m a c y j n y d l a W i a t r u p r z y S Bo n e c z n e j P o g o d z i e
J a k w i d a n a j l e p s z y m w z Be m d l a P o g o d y S Bo n e c z n e j j e s t W i l g o t n o [, p o n i e w a | m a
n a j w i k s z y z y s k i n f o r m a c y j n y .
G a i n ( S o n e c z n a , W i l g o t n o ) = 0 . 9 7 1
G a i n ( S o n e c z n a , T e m p e r a t u r a ) = 0 . 5 7 1
G a i n ( S o n e c z n a , W i a t r ) = 0 . 0 4 9
S t d d o k Ba d a m y W i l g o t n o [ d o n a s z e g o d r z e w a , p a t r z R y s u n e k 1 0 .
R y s 1 0 : N a s z e d r z e w o p o a k t u a l i z a c j i
W o s t a t n i m k r o k u d o b i e r a m y w z e B d o p o g o d y d e s z c z o w e j , c z y l i n a p o d s t a w i e n a -
s t p u j c e g o p o d s y s t e m u ,
D z i e D P o g o d a T e m p e r a t u r a W i l g o t n o [ W i a t r G r a m w T e n i s a
D 4 D e s z c z o w a Aa g o d n i e W y s o k a S Ba b y T a k
D 5 D e s z c z o w a C h Bo d n o N o r m a l n a S Ba b y T a k
D 6 D e s z c z o w a C h Bo d n o N o r m a l n a M o c n y N i e
D 1 0 D e s z c z o w a Aa g o d n i e N o r m a l n a S Ba b y T a k
D 1 4 D e s z c z o w a Aa g o d n i e W y s o k a M o c n y N i e
W y l i c z a m y z y s k i n f o r m a c y j n y d l a p o d z i a Bu n a p o d s t a w i e W i a t r u i T e m p e r a t u r y ,
p a t r z R y s u n k i 1 1 , 1 2 .
G a i n ( D e s z c z o w a , W i a t r ) = 0 . 9 7 1
R y s 1 1 : S p r a w d z a m y z y s k i n f o r m a c y j n y p o d z i a Bu o b i e k t ó w n a p o d s t a w i e s i By
W i a t r u d l a P o g o d y D e s z c z o w e j
G a i n ( D e s z c z o w a , T e m p e r a t u r a ) = 0 . 9 7 1 - ( 3 " 0 . 9 1 8 ) - ( 2 " 1 . 0 ) = 0 . 0 1 9
5 5
R y s 1 2 : S p r a w d z a m y z y s k i n f o r m a c y j n y p o d z i a Bu o b i e k t ó w n a p o d s t a w i e
T e m p e r a t u r y d l a P o g o d y D e s z c z o w e j
P o p o s o r t o w a n i u m a m y ,
G a i n ( D e s z c z o w a , W i a t r ) = 0 . 9 7 1
G a i n ( D e s z c z o w a , T e m p e r a t u r a ) = 0 . 9 7 1 - ( 3 " 0 . 9 1 8 ) - ( 2 " 1 . 0 ) = 0 . 0 1 9
5 5
W i d z i m y , |e z y s k i n f o r m a c y j n y j e s t w i k s z y d l a W i a t r u , s t d j e s t d o k Ba d a n y j a k o
n a s t p n y w z e B d o P o g o d y D e s z c z o w e j i w k o n s e k w e n c j i d o s t a j e m y f i n a l n e d r z e w o
d e c y z y j n e , p a t r z R y s u n e k 1 3 .
R y s 1 3 : O s t a t e c z n a p o s t a d r z e w a d e c y z y j n e g o
P o d s u m o w u j c , a l g o r y t m I D 3 w y b r a B d o s t w o r z e n i a d r z e w a a t r y b u t y P o g o d a , W i l -
g o t n o [ o r a z W i a t r , a t r y b u t T e m p e r a t u r a b y B n a j m n i e j i s t o t n y s t d z o s t a B p o m i n i -
t y .
D r z e w o d e c y z y j n e w n a s z y m r o z u m i e n i u j e s t p e w n s t r u k t u r , k t ó r a j e s t p r z y d a -
n a w p r o c e s i e k l a s y f i k a c j i .
P o d c z a s t w o r z e n i a d r z e w d e c y z y j n y c h m o |e m y n a p o t y k a p r o b l e m o v e r f i t t i n g u . C z y -
l i p r o b l e m z b y t d o b r e g o d o p a s o w a n i a k l a s y f i k a t o r a d o d a n y c h , p r o w a d z c y d o z m n i e j -
s z e n i a e f e k t y w n o [c i k l a s y f i k a c j i n a d a n y c h n i e z n a n y c h . T e g o t y p u p r o b l e m w p r z y -
p a d k u d r z e w d e c y z y j n y c h m o |e b y n i w e l o w a n y m i d z y i n n y m i z a p o m o c m e t o d y
P r e - p r u n i n g l u b P o s t - p r u n i n g .
D o p r z e d s t a w i e n i a z a g a d n i e n i a z o s t a By u |y t e m a t e r i a By z a w a r t e w k s i |c e M a c h i n e L e a r n i n g T o m a M i t c h e l a
Wyszukiwarka
Podobne podstrony:
C20408 podstawy org UN, odruchyC2 Klucz do zadanc2 mojeC2 Boze NarodzenieModel C2WentyleSpiroCD C2C2wmk c2fcntl c2 (2)C2 2of58 sti c2C2 Transkcrypcje nagranc2C2 5więcej podobnych podstron