M e t o d y s z t u c z n e j i n t e l i g e n c j i
U c z e n i e ( s i ) n a p o d s t a w i e
P o l i t e c h n i k a Zl s k a
o b s e r w a c j i
K a t e d r a P o d s t a w K o n s t r u k c j i M a s z y n
R o k a k a d e m i c k i 2 0 0 2 / 2 0 0 3
W y k Ba d 5
M a t e r i a By d y d a k t y c z n e ( n a p r a w a c h r k o p i s u )
d l a s t u d e n t w W y d z i a Bu M e c h a n i c z n e g o T e c h n o l o g i c z n e g o
M S I - w 5 / 1 M S I - w 5 / 2
G B w n a i d e a
O g l n y m o d e l s y s t e m u w n i o s k o w a n i a
( a g e n t a ) u c z c e g o s i ( 1 )
" P e r c e p c j e s w y k o r z y s t y w a n e n i e t y l k o d o
w y b o r u o d p o w i e d n i e j a k c j i , l e c z t a k |e d o
Z
p o w i k s z a n i a z d o l n o [c i s y s t e m u w n i o s k o w a n i a
K r y t y k a S e n s o r y
r
( a g e n t a ) d o d z i a Ba n i a w p r z y s z Bo [c i ( u c z e n i a s i )
S p r z |.
o
z w r o t n e
d
" U c z e n i e s i z a c h o d z i j a k o w y n i k i n t e r a k c j i
Z m i a n y
E l e m e n t E l e m e n t
o
p o m i d z y s y s t e m e m w n i o s k o w a n i a ( a g e n t e m )
u c z c y s i d z i a Ba j c y
w
W i e d z a
i o t o c z e n i e m C e l e
i
u c z e n i a
s
" J e s t w i e l e f o r m u c z e n i a , o d z a p a m i t y w a n i a d o G e n e r a t o r
E f e k t o r y
k
p r o b l e m w
t w o r z e n i a z Bo |o n y c h t e o r i i
A g e n t
o
M S I - w 5 / 3 M S I - w 5 / 4
O g l n y m o d e l ( s y s t e m u w n i o s k o w a n i a )
O g l n y m o d e l ( s y s t e m u w n i o s k o w a n i a )
a g e n t a u c z c e g o s i ( 2 )
a g e n t a u c z c e g o s i ( 3 )
" E l e m e n t u c z c y s i - o d p o w i a d a z a d o k o n y w a n i e
" D o s t p n e s p r z |e n i a z w r o t n e :
u l e p s z e D
u c z e n i e n a d z o r o w a n e ( a g e n t z n a z a r w n o
" E l e m e n t d z i a Ba j c y - o d p o w i a d a z a w y b r
p e r c e p c j e , j a k i w y n i k i c h k l a s y f i k a c j i )
z e w n t r z n y c h d z i a Ba D
u c z e n i e z e w z m o c n i e n i e m ( a g e n t j e s t n a g r a d z a n y
" K r y t y k a - d o s t a r c z a e l e m e n t o w i u c z c e m u s i
l u b k a r a n y , w z a l e |n o [c i o d w y n i k u a k c j i ;
i n f o r m a c j i o t y m , j a k d o b r z e d z i a Ba a g e n t
k l a s y f i k a c j a n i e j e s t a g e n t o w i z n a n a )
" G e n e r a t o r p r o b l e m w - s u g e r u j e a k c j e , k t r e b d u c z e n i e n i e n a d z o r o w a n e ( k l a s y f i k a c j a n i e z n a n a )
p r o w a d z i d o n o w y c h i i n f o r m a t y w n y c h d o [w i a d c z e D
" R o l a w i e d z y p o d s t a w o w e j - u c z e n i e z w i k s z a
n i e z n a c z n i e w i e d z p o s i a d a n p r z e z a g e n t a
M S I - w 5 / 5 M S I - w 5 / 6
I n d u k c j a d r z e w d e c y z y j n y c h C e c h y d r z e w a d e c y z y j n e g o
" J e d e n z n a j p r o s t s z y c h a l g o r y t m w u c z e n i a " O b i e k t y s o p i s a n e p r z e z z b i o r y i c h c e c h
m a s z y n o w e g o
" D r z e w o z w r a c a k l a s y f i k a c j ( d e c y z j )
" Aa t w e d o w d r o |e n i a T A K / N I E ( m o g b y p r z y p a d k i
w i e l o k l a s o w e - b a r d z i e j o g l n e )
" D r z e w o r e p r e z e n t u j e f u n k c j B o o l o w s k
M S I - w 5 / 7 M S I - w 5 / 8
B u d o w a d r z e w a d e c y z y j n e g o P r z y k Ba d - c z y c z e k a n a s t o l i k ?
" A l t e r n a t e : w p o b l i |u " P r i c e : z a k r e s c e n
" K a |d y w e w n t r z n y w z e B o d p o w i a d a t e s t o w i
j e s t i n n a r e s t a u r a c j a ?
" R a i n i n g : c z y p a d a ?
d o t y c z c e m u w a r t o [c i j a k i e g o [ a t r y b u t u
" B a r : c z y w r e s t a u r a c j i
" R e s e r v a t i o n : c z y z a r e z e r -
" K a |d e j k r a w d z i w y c h o d z c e j z d a n e g o w z Ba
j e s t b a r g d z i e m o |n a
w o w a l i [m y w c z e [n i e j ?
p r z y p o r z d k o w a n a j e s t j e d n a w a r t o [ a t r y b u t u
p o c z e k a ?
" T y p e : r o d z a j r e s t a u r a c j i -
w z Bo w e g o
" F r i / S a t : P i t e k / S o b o t a
c h i Ds k a , w Bo s k a , B u r g e r .
" L i [c i o m p r z y p o r z d k o w a n e s w a r t o [c i
" H u n g r y : j e s t e [ g Bo d n y ?
" W a i t E s t i m a t e : s z a c o w a -
B o o l o w s k i e , z w r a c a n e j e [l i o s i g n i t o d a n y
" P a t r o n s : i l e j e s t l u d z i w n y c z a s o c z e k i w a n i a w
l i [
r e s t a u r a c j i ? m i n .
M S I - w 5 / 9 M S I - w 5 / 1 0
I n d u k c j a d r z e w d e c y z y j n y c h
C z y c z e k a n a s t o l i k ?
z e z b i o r u p r z y k Ba d w
W t y m d r z e w i e n i e
P a t r o n s ?
w y k o r z y s t a n o w s z y s t -
" P r z y k Ba d o p i s y w a n y j e s t p r z e z w a r t o [c i
N o n e S o m e F u l l
k i c h a t r y b u t w ! !
a t r y b u t w ( w a r u n k u ) o r a z p r z e z w a r t o [
N o Y e s
W a i t E s t i m a t e ?
a t r y b u t u d e c y z y j n e g o
0 - 1 0
> 6 0 3 0 - 6 0 1 0 - 3 0
N o A l t e r n a t e ? H u n g r y ? Y e s
" P r z y k Ba d y t w o r z z b i r t r e n u j c y
N o Y e s N o Y e s
" B r z y t w a O c k h a m a ( X I V w . ) :
R e s e r v a t i o n ? F r i / S a t ? Y e s A l t e r n a t e ?
P l u r a l i t a s n o n e s t p o n e n d a s i n e n e c c e s i t a t e
N o Y e s N o Y e s N o Y e s
N a j b a r d z i e j p r a w d o p o d o b n a j e s t
B a r ? Y e s N o Y e s Y e s R a i n i n g ?
n a j p r o s t s z a s p o [r d h i p o t e z z g o d n y c h z e
N o Y e s N o Y e s
M S I - w 5 / 1 1 M S I - w 5 / 1 2
N o Y e s N o Y e s w s z y s t k i m i o b s e r w a c j a m i
A l g o r y t m i n d u k c j i d r z e w d e c y z . U w a g i d o t y c z c e i n d u k c j i d r z e w
f u n c t i o n D E C I S I O N - T R E E - L E A R N I N G ( e x a m p l e s , a t t r i b u t e s , d e f a u l t ) r e t u r n s a d e c i s i o n t r e e
i n p u t s : e x a m p l e s , z b i r p r z y k Ba d w
" P o d s t a w o w y p r o b l e m - w y b r
a t t r i b u t e s , z b i r a t r y b u t w
d e f a u l t , w a r t o [ d o m y [l n a d l a a t r y b u t u d e c y z y j n e g o
" I n d u k c j a n i e z u p e Bn a ( n i e m a m y w s z y s t k i c h
i f e x a m p l e s i s e m p t y t h e n r e t u r n d e f a u l t
m o |l i w y c h p r z y k Ba d w )
e l s e i f a l l e x a m p l e s h a v e t h e s a m e c l a s s i f i c a t i o n t h e n r e t u r n t h e c l a s s i f i c a t i o n
e l s e i f a t t r i b u t e s i s e m p t y t h e n r e t u r n M A J O R I T Y - V A L U E ( e x a m p l e s ) O z n a c z a t o , |e
e l s e d a n e m a j t e s a m e " P r o g r a m y r e a l i z u j c e u c z e n i e m a s z y n o w e
b e s t ! C H O O S E - A T T R I B U T E ( a t t r i b u t e s , e x a m p l e s ) o p i s y , l e c z n a l e |
d z i a Ba j b a r d z o s z y b k o i e f e k t y w n i e
t r e e ! a n e w d e c i s i o n t r e e w i t h r o o t t e s t b e s t d o r |n y c h k l a s ;
f o r e a c h v a l u e v i o f b e s t d o r o z s t r z y g a g Bo s o -
" D r z e w a d e c y z y j n e m o g b y b a r d z o
e x a m p l e s i ! { e l e m e n t s o f e x a m p l e s w i t h b e s t = v i } w a n i e
s u b t r e e ! D E C I S I O N - T R E E - L E A R N I N G ( e x a m p l e s i , a t t r i b u t e s - b e s t ,
r o z b u d o w a n e - c z s t o s i j e p r z y c i n a k o s z t e m
M A J O R I T Y - V A L U E ( e x a m p l e s ) )
a d d a b r a n c h t o t r e e w i t h l a b e l v i a n d s u b t r e e s u b t r e e
n i e c o g o r s z e j s p r a w n o [c i k l a s y f i k a c j i
e n d
M S I - w 5 / 1 3 M S I - w 5 / 1 4
r e t u r n t r e e
O c e n a s p r a w n o [c i a l g o r y t m u u c z e n i a ( 1 ) O c e n a s p r a w n o [c i a l g o r y t m u u c z e n i a ( 2 )
" I l o [ i n f o r m a c j i [ b i t y ] z a w a r t e j w p o p r a w n e j
" Z g r o m a d z l i c z n y z b i r p r z y k Ba d w
o d p o w i e d z i , g d y z b i r t r e n u j c y z a w i e r a p
" P o d z i e l g o n a r o z Bc z n e z b i o r y : z b i r t r e n u j c y
p r z y k Ba d w p o z y t y w n y c h i n n e g a t y w n y c h :
i z b i r t e s t o w y
p n p p n n
I ( , ) = - l o g 2 - l o g 2
p + n p + n p + n p + n p + n p + n
" S t o s u j c z b i r t r e n u j c y j a k o p r z y k Ba d y ,
" I l o [ i n f o r m a c j i d o s t p n a p o t e s t o w a n i u a t r y b u t u A :
u z y s k a j i n d u k c y j n i e h i p o t e z H
v
p i + n i p i n i
" S t o s u j c p r z y k Ba d y t e s t o w e , o k r e [l j a k a i c h P o z o s t a Bo ( A ) = I ( , )
"
p + n p i + n i p i + n i
i = 1
c z [ j e s t p o p r a w n i e k l a s y f i k o w a n a p r z e z H A t r y b u t A d z i e l i z b i r E n a
" P r z y r o s t i l o [c i i n f o r m a c j i :
p o d z b i o r y E 1 , . . . , E v ; p i , n i
" P o w t a r z a j t e k r o k i d l a z b i o r w t r e n u j c y c h
t o l i c z b y p r z y k Ba d w p o z y t y -
p n
P r z y r o s t ( A ) = I ( , ) - i n e g a t y w n y c h w t y m
P o z o s t a Bo ( A )
r |n y c h w i e l k o [c i , l o s o w o w y b i e r a n y c h
p + n p w n y c h
+ n
M S I - w 5 / 1 5 M S I - w 5 / 1 6
p o d z b i o r z e
Z w i k s z e n i e m o |l i w o [c i
N i e k t r e p r o b l e m y
z a s t o s o w a n i a d r z e w d e c y z y j n y c h
" B r a k u j c e d a n e ( n i e z a p i s a n e ; z b y t " B Bd n e d a n e ( n p . s p r z e c z n e p r z y k Ba d y -
k o s z t o w n e i c h u z y s k a n i e ) t a k i e s a m e w a r t o [ a t r y b u t w w a r u n k u ,
r |n e w a r t o [c i a t r y b u t u d e c y z y j n e g o )
" A t r y b u t y w i e l o w a r t o [c i o w e
d r z e w o k l a s y f i k u j e b Bd n i e
" A t r y b u t y o w a r t o [c i a c h c i g By c h
" N a d m i e r n e d o p a s o w a n i e
( r z e c z y w i s t y c h ) - w y m a g a n a d y s k r e t y z a c j a
z b y t s z c z e g Bo w y k l a s y f i k a t o r , d u |o b Bd w d l a
u n s e e n e x a m p l e s
" R a d a - P R Z Y C I N A N I E D R Z E W A
M S I - w 5 / 1 7 M S I - w 5 / 1 8
P o d s t a w o w e p y t a n i e O d p o w i e d z i n t u i c y j n a
" K a |d a h i p o t e z a , k t r a j e s t p o w a |n i e b Bd n a ,
S k d w i a d o m o , |e a l g o r y t m u c z e n i a
z o s t a n i e n a p e w n o z n a l e z i o n a z w y s o k i m
p o z w o l i B u t w o r z y t e o r i , k t r a p r a w d o p o d o b i e Ds t w e m j e d y n i e d l a m a Be j l i c z b y
p r z y k Ba d w , p o n i e w a | t o p r o w a d z i Bo b y d o
b d z i e p o p r a w n a ?
b Bd n y c h p r z e w i d y w a D
" W n i o s e k :
J e s t n i e p r a w d o p o d o b n e , |e b y h i p o t e z a z g o d n a z
w y s t a r c z a j c o l i c z n y m z b i o r e m t r e n u j c y m , b y Ba
p o w a |n i e b Bd n a
" U c z e n i e P A C ( P r o b a b l y A p p r o x i m a t e l y C o r r e c t )
M S I - w 5 / 1 9 M S I - w 5 / 2 0
I l e p o t r z e b a p r z y k Ba d w ( 1 ) ? I l e p o t r z e b a p r z y k Ba d w ( 2 ) ?
" X - z b i r w s z y s t k i c h m o |l i w y c h
" B Bd ( h r |n e o d a p r o k s y m o w a n e j f u n k c j i f ) :
p r z y k Ba d w
h " H
" D r o z k Ba d p r a w d o p o d o b i e Ds t w a , z k t r e g o
e r r o r ( h ) = P { h ( x ) `" f ( x ) | x w y l o s o w a n e z D }
l o s u j e s i p r z y k Ba d y
" H i p o t e z a j e s t w p r z y b l i |e n i u p o p r a w n a , j e [l i :
" H - z b i r m o |l i w y c h h i p o t e z
e r r o r ( h ) d" , - m a Ba l i c z b a
" f " H p r a w d z i w a f u n k c j a , k t r s t a r a m y
" G d y - d o p u s z c z a l n e p r a w d o p . b Bd n e j h i p o t e z y :
s i p r z y b l i |y z a p o m o c h i p o t e z y h " H
1 1
l n
m e" + l n H
" m - l i c z b a p r z y k Ba d w w z b i o r z e
t r e n u j c y m
M S I - w 5 / 2 1 M S I - w 5 / 2 2
P o d s u m o w a n i e ( 1 )
P o d s u m o w a n i e ( 2 )
" Z d o l n o [ u c z e n i a s i s y s t e m u w n i o s k o w a n i a ( a g e n t a )
j e s t i s t o t n a z e w z g l d u n a d z i a Ba n i e w n i e z n a n y m
" U c z e n i e s i j a k i e g o k o l w i e k s k Ba d n i k a e l e m e n t u
[r o d o w i s k u
d z i a Ba j c e g o m o |e b y i n t e r p r e t o w a n e j a k o
" W s y s t e m i e w n i o s k o w a n i a ( a g e n c i e ) u c z c y m s i
m o |n a w y r |n i :
u c z e n i e s i a p r o k s y m a c j i f u n k c j i
e l e m e n t d z i a Ba j c y , o d p o w i e d z i a l n y z a w y b r a k c j i
" U c z e n i e s i a p r o k s y m a c j i f u n k c j i n a p o d s t a w i e
e l e m e n t u c z c y ( s i ) , o d p o w i e d z i a l n y z a m o d y f i k o w a n i e
p r z y k Ba d w n a z y w a s i u c z e n i e m i n d u k c y j n y m
e l e m e n t u d z i a Ba j c e g o
" M o |l i w e s r |n e f o r m y u c z e n i a , z e w z g l d u n a :
" D r z e w a d e c y z y j n e s s k u t e c z n y m [r o d k i e m
e l e m e n t d z i a Ba j c y , s p r z |e n i a z w r o t n e o r a z d o s t p n
u c z e n i a s i z d e t e r m i n o w a n y c h f u n k c j i B o o l a
w i e d z
M S I - w 5 / 2 3 M S I - w 5 / 2 4
P o d s u m o w a n i e ( 3 )
" B r z y t w a O c k h a m a s u g e r u j e w y b r
n a j p r o s t s z e j h i p o t e z y p a s u j c e j d o
U c z e n i e w s i e c i a c h n e u r o n o w y c h
o b s e r w o w a n y c h p r z y k Ba d w
" O k r e [l e n i e n a j w i k s z e g o p r z y r o s t u
i n f o r m a c j i u m o |l i w i a z n a l e z i e n i e p r o s t y c h
d r z e w d e c y z y j n y c h
" O s i g i a l g o r y t m u u c z e n i a i n d u k c y j n e g o
o k r e [l a s i z a p o m o c Bc z n e g o b Bd u
k l a s y f i k a c j i
M S I - w 5 / 2 5 M S I - w 5 / 2 6
S i e c i n e u r o n o w e - g e n e z a J a k d z i a Ba m z g ?
" R e p r e z e n t u j e z Bo |o n e ( n p . n i e l i n i o w e ) f u n k c j e " S k Ba d a s i z n e u r o n w ( k o m r e k n e r w o w y c h )
" S i e c i z Bo |o n e z p r o s t y c h e l e m e n t w " N e u r o n y p o Bc z o n e p o m i d z y s o b p o p r z e z
w y k o n u j c y c h o p e r a c j e a r y t m e t y c z n e s y n a p s y
" S z c z e g l n i e u |y t e c z n e w p r z y p a d k u " S y g n a By p o m i d z y n e u r o n a m i :
s k o m p l i k o w a n y c h f u n k c j i w i e l u z m i e n n y c h ,
p r o p a g o w a n e p o p r z e z r e a k c j e e l e k t r o c h e m i c z n e
k t r e :
p r z e k a z y w a n e , g d y p o t e n c j a B e l e k t r y c z n y d a n e g o
n e u r o n u p r z e k r o c z y o d p o w i e d n i p r g
m a j w y j [c i a o w a r t o [c i a c h r z e c z y w i s t y c h
m a j w i e l e w e j [ o b c i |o n y c h s z u m e m m o g b y w z m a c n i a n e l u b t Bu m i o n e p r z e z
s y n a p s y
M S I - w 5 / 2 7 M S I - w 5 / 2 8
B u d o w a n e u r o n u M z g : k o m p u t e r
w z m o c n i e n i e
K o m p u t e r ( 1 9 9 4 r ) M z g l u d z k i
L i c z b a j e d n o s t e k 1 C P U ; 1 0 5 b r a m e k 1 0 1 1 n e u r o n w
w e j [c i a
P o j e m n o [ p a m i c i R A M 1 0 9 b i t w ; 1 0 1 1 n e u r o n w ;
D y s k 1 0 1 0 b i t w 1 0 1 4 s y n a p s
C z a s t r w a n i a c y k l u [ s ] 1 0 - 8 1 0 - 3
w y j [c i e
P a s m o [ b i t y / s ] 1 0 9 1 0 1 4
L i c z b a n e u r o n w 1 0 5 1 0 1 4
D Bu g o [ w y p u s t e k k o m r k i n e r w o w e j j e s t o k o Bo
a k t u a l i z o w a n y c h / s
1 0 0 r a z y w i k s z a o d [r e d n i c y k o m r k i .
M S I - w 5 / 2 9 M S I - w 5 / 3 0
S i e n e u r o n o w a J e d n o s t k a ( n e u r o n )
" P o s i a d a z b i r p o Bc z e D w e j [c i o w y c h
" W i e l e w z B w ( j e d n o s t e k )
" P o s i a d a z b i r p o Bc z e D w y j [c i o w y c h
" P o Bc z e n i a m i d z y n i m i
" M a p o z i o m a k t y w a c j i
" P o Bc z e n i o m p r z y p o r z d k o w a n e w a g i
" G B w n a i d e a :
k a |d a j e d n o s t k a p r z e p r o w a d z a s a m o d z i e l n i e
( l o k a l n i e ) o b l i c z e n i a , b a z u j c n a w e j [c i a c h
o d s w o i c h s s i a d w , l e c z b e z p o t r z e b y
g l o b a l n e g o s t e r o w a n i a z e s p o Be m
n e u r o n w j a k o c a Bo [c i
M S I - w 5 / 3 1 M S I - w 5 / 3 2
A l g o r y t m b u d o w y s i e c i J e d n o s t k a s i e c i ( n e u r o n )
w a g i
f u n k c j a a k t y w a c j i
" O k r e [l :
l i c z b p o t r z e b n y c h n e u r o n w
i c h r o d z a j
s p o s b p o Bc z e n i a n e u r o n w p o m i d z y s o b
" Z a i n i c j u j p o c z t k o w e w a r t o [c i w a g
w y j [c i e
" T r e n u j s i e ( m o d y f i k u j c w a g i ) , u |y w a j c
o d p o w i e d n i e g o a l g o r y t m u z a s t o s o w a n e g o
d o z b i o r u p r z y k Ba d w t r e n u j c y c h
i n i = " a j = W i "a i
W a |o n a s u m a w e j [
"W j , i
j
M S I - w 5 / 3 3 M S I - w 5 / 3 4
P r z y k Ba d y f u n k c j i a k t y w a c j i
R e p r e z e n t o w a n i e f u n k c j i l o g i c z n y c h
1 , i f x e" t + 1 , i f x e" 0
1
s i g m o i d ( x ) =
s t e p t ( x ) = s i g n ( x ) =
1 + e - x
0 , i f x < t - 1 , i f x < 0
Z a s t o s o w a n i e f u n k c j i a k t y w a c j i s t e p p o w o d u j e , |e
n n
n e u r o n y m o g d z i a Ba j a k l o g i c z n e b r a m k i .
a i = s t e p t ( " a j ) = s t e p 0 ( " a j )
"W j , i "W j , i
j = 1 j = 0
g d z i e W 0 , i = t , a 0 = - 1
M S I - w 5 / 3 5 M S I - w 5 / 3 6
P r o s t a s i e n e u r o n o w a
S t r u k t u r y s i e c i n e u r o n o w y c h
z p r o p a g a c j w p r z d
" S i e c i f e e d - f o r w a r d ( n i e r e k u r e n c y j n e )
S k i e r o w a n y g r a f a c y k l i c z n y
N e u r o n y z w y k l e o r g a n i z o w a n e w w a r s t w y
P o z a w a r t o [c i a m i w a g b r a k w e w n t r z n e g o s t a n u ( b e z
p a m i c i )
D z i a Ba j s z y b k o , Ba t w o j e z a p r o g r a m o w a
" S i e c i r e k u r e n c y j n e ( m z g l u d z k i ! ! )
M a j s t a n w e w n t r z n y
a 5 D w a w e j [c i a ( I 1 i I a 4 )
= g ( W 3 , 5 " a 3 + W 4 , 5 2 ") , d w a n e u r o n y ( H 1 i H 2 ) w w a r s t w i e
Z a a w a n s o w a n y a p a r a t m a t e m a t y c z n y
n i e k i e d y d Bu g o t r z e b a c z e k a n a s t a b i l i z a c j w y j [c i a u k r y t e j i j e d e n n e u r o n ( O 5 ) n a w y j [c i u s i e c i .
= g ( W 3 , 5 " g ( W 1 , 3 " a 1 + W 2 , 3 " a 2 ) + W 4 , 5 " g ( W 1 , 4 " a 1 + W 2 , 4 " a 2 ) )
M S I - w 5 / 3 7 M S I - w 5 / 3 8
P e r c e p t r o n y L i n i o w a s e p a r o w a l n o [
" M o g r e p r e z e n t o w a
z Bo |o n e f u n k c j e
l o g i c z n e
" Z a s t p u j z Bo |o n e
b i n a r n e d r z e w a
d e c y z y j n e ( p e r c e p t r o n
o n w e j [c i a c h m o |n a
z a s t p i d r z e w e m
" N p . X O R n i e j e s t l i n i o w o s e p a r o w a l n y
d e c y z y j n y m o 2 n
" I s t n i e j e a l g o r y t m , k t r y u m o |l i w i a n a u c z e n i e k a |d e j
w z Ba c h )
l i n i o w o s e p a r o w a l n e j f u n k c j i , g d y j e s t d o s t a t e c z n i e d u |o
p r z y k Ba d w t r e n u j c y c h
M S I - w 5 / 3 9 M S I - w 5 / 4 0
L i n i o w a s e p a r a c j a w p r z e s t r z e n i 3 D O g l n y a l g o r y t m u c z e n i a s i e c i
f u n c t i o n N E U R A L - N E T W O R K - L E A R N I N G ( e x a m p l e s ) r e t u r n s n e t w o r k
n e t w o r k ! s i e z l o s o w o p r z y j t y m i w a g a m i
r e p e a t
f o r e a c h e i n e x a m p l e s d o
O ! N E U R A L - N E T W O R K - O U T P U T ( n e t w o r k , e )
T ! z a o b s e r w o w a n e w a r t o [c i w y j [c i o w e d l a e
z a k t u a l i z u j w a g i w n e t w o r k b a z u j c n a e , O , T
e n d
u n t i l w s z y s t k i e p r z y k Ba d y p o p r a w n i e s k l a s y f i k o w a n e
l u b o s i g n i t e k r y t e r i u m s t o p
r e t u r n n e t w o r k
O - w a r t o [c w y j [c i o w a s i e c i , T - w a r t o [ p o p r a w n a
R e p r e z e n t u j e f u n k c j m i n i m a l i z a c j i
M S I - w 5 / 4 1 M S I - w 5 / 4 2
R e g u Ba u c z e n i a p e r c e p t r o n u
" U c z e n i e p o l e g a n a a k t u a l i z a c j i w a g
" O k r e [l a s i b Bd p r e d y k c j i :
E r r = T - O
P o r w n a n i e z a s t o s o w a n i a p e r c e p t r o n w i d r z e w
g d y > 0 , z w i k s z y O ; g d y < 0 , z m n i e j s z y O
d e c y z y j n y c h
" U d z i a B j - t e g o n e u r o n u w e j [c i o w e g o w
( a ) P e r c e p t r o n l e p s z y w u c z e n i u f u n k c j i m a j o r y z u j c e j
w y j [c i u = W j I j
d l a 1 1 w e j [,
" R e g u Ba u c z e n i a ( - p r d k o [ u c z e n i a ) :
( b ) D r z e w a d e c y z y j n e l e p s z e w u c z e n i u p r e d y k a t w
W j ! W j + I j E r r
W i l l W a i t ( p r z y k Ba d o c z e k i w a n i a n a s t o l i k
w r e s t a u r a c j i )
M S I - w 5 / 4 3 M S I - w 5 / 4 4
D w u w a r s t w o w a s i e n e u r o n o w a
n i e r e k u r e n c y j n a d l a z a d a n i a
W s t e c z n a p r o p a g a c j a b Bd u ( 1 )
o c z e k i w a n i e n a s t o l i k w r e s t a u r a c j i
" N a j b a r d z i e j p o p u l a r n a m e t o d a u c z e n i a N N
N e u r o n w y j [c i o w y
" B a z u j e n a a l g o r y t m i e u c z e n i a p e r c e p t r o n u
" I s t o t a p o l e g a n a o d p o w i e d n i m r o z d z i e l a n i u
N e u r o n y u k r y t e
b Bd u p r o p o r c j o n a l n i e d o w a g s i e c i
" W w y r a |e n i u n a a k t u a l i z a c j w a g
u w z g l d n i a s i g r a d i e n t f u n k c j i a k t y w a c j i
N e u r o n y w e j [c i o w e
M S I - w 5 / 4 5 M S I - w 5 / 4 6
W s t e c z n a p r o p a g a c j a b Bd u ( 2 ) A l g o r y t m w s t e c z n e j p r o p a g a c j i b Bd u
J e [l i d l a i - t e g o w y j [c i a E r r i = T i - O i , t o :
" O b l i c z w a r t o [c i " d l a n e u r o n w w y j [c i o w y c h
s t o s u j c u z y s k a n y b Bd
2
W j , i ! W j , i + " a j " E r r i " g ( i n i )
" Z a c z y n a j c o d w a r s t w y w y j [c i o w e j , p o w t a r z a j
2
N i e c h "i = E r r i " g ( i n i ) . W t e d y :
d l a k a |d e j w a r s t w y s i e c i , d o p k i n i e z o s t a n i e
W j , i ! W j , i + " a j " "i
o s i g n i t a p i e r w s z a w a r s t w a u k r y t a :
g d z i e :
P r o p a g u j w a r t o [c i " d o p o p r z e d z a j c e j w a r s t w y
2
" = g ( i n j ) "W j , i " "i .
j
i A k t u a l i z u j w a g i p o Bc z e D p o m i d z y o b i e m a
D l a w a r s t w y w e j s c i o w e j : w a r s t w a m i
W k , j !W k , j + " I k " " .
M S I - w 5 / 4 7 M S I - w 5 / 4 8
j
P o w i e r z c h n i a b Bd w d l a g r a d i e n t u s p a d k u
D y s k u s j a ( 1 )
w p r z e s t r z e n i w a g
" S N s r e p r e z e n t a c j o p a r t n a a t r y b u t a c h i n i e
p o z w a l a j n a w y r a |a n i e l o g i c z n y c h z a l e |n o [c i
( w o d r |n i e n i u o d d r z e w d e c y z y j n y c h ) ,
" W y d a j n o [ o b l i c z e n i o w a S N z a l e |y o d c z a s u ,
k t r y j e s t p o t r z e b n y n a t r e n o w a n i e s i e c i , w c e l u
j e j d o p a s o w a n i a d o d a n e g o z b i o r u p r z y k Ba d w ,
" S N p o z w a l a j n a g e n e r a l i z a c j p r o b l e m w , c o
c z y n i j e p r z y d a t n y m i w r o z w i z y w a n i u w i e l u
z a d a D [w i a t a r z e c z y w i s t e g o .
K i e d y w 1 = a i w 2 = b b Bd d l a d a n e g o z b i o r u d a n y c h
t r e n u j c y c h j e s t m i n i m a l n y
M S I - w 5 / 4 9 M S I - w 5 / 5 0
P r z y k Ba d y z a s t o s o w a D
D y s k u s j a ( 2 )
" W y m o w a p i s a n y c h a n g i e l s k i c h t e k s t w
" S N n i e s c z u Be n a s z u m n a w e j [c i u p o n i e w a |
r e a l i z o w a n a p r z e z k o m p u t e r ( N E T t a l k 1 9 8 7 ) .
d z i a Ba j n a z a s a d z i e n i e l i n i o w e j r e g r e s j i ,
L i t e r a k o d p o w i a d a d zw i k o w i [ k ] , a l e l i t e r a c
" S N s c z a r n y m i s k r z y n k a m i ( s n i e p r z e zr o c z y s t e ) ;
o d p o w i a d a t a k |e [ k ] ( c a t ) l u b [ s ]
n i e m o |n a u z y s k a o d p o w i e d z i n a p y t a n i e :
( c e n t ) .
d l a c z e g o d a n e w y j [c i e j e s t p o p r a w n e ? ,
" R o z p o z n a w a n i e p i s m a o d r c z n e g o .
" S N n i e u m o |l i w i a j o c e n y j a k a w i e d z a a p r i o r i
s t o s o w a n e d o o d c z y t y w a n i a a d r e s w n a
j e s t n a j l e p s z a d o i c h n a u c z e n i a , c o j e s t e f e k t e m
k o p e r t a c h ( V L S I , 1 9 8 9 ) .
i c h n i e p r z e zr o c z y s t o [c i . ( P r o b l e m m o |e b y
" S t e r o w a n i e p o j a z d e m p o r u s z a j c y m s i p o
u s u n i t y w s i e c i a c h p r z e k o n a D)
a u t o s t r a d z i e ( A L V I N N , 1 9 9 3 )
M S I - w 5 / 5 1 M S I - w 5 / 5 2
P o d s u m o w a n i e ( 1 ) P o d s u m o w a n i e ( 2 )
" S i e n e u r o n o w a t o m o d e l o b l i c z e n i o w y o n i e k t r y c h
" N i e r e k u r e n c y j n e s i e c i w i e l o w a r s t w o w e o
w Ba s n o [c i a c h p o d o b n y c h d o m z g u
o d p o w i e d n i m s t o p n i u z Bo |o n o [c i m o g
" Z a c h o w a n i e s i s i e c i o k r e [l o n e j e s t p r z e z j e j
r e p r e z e n t o w a d o w o l n f u n k c j
t o p o l o g i
" A l g o r y t m u c z e n i a z e w s t e c z n p r o p a g a c j
" P e r c e p t r o n t o r o d z a j s i e c i j e d n o w a r s t w o w e j , k t r a
b Bd u u m o |l i w i a u c z e n i e n i e r e k u r e n c y j n y c h
m o |e r e p r e z e n t o w a t y l k o f u n k c j e l i n i o w o
s i e c i w i e l o w a r s t w o w y c h :
s e p a r o w a l n e
J e s t z b i e |n y d o l o k a l n i e o p t y m a l n e g o r o z w i z a n i a
" D l a d a n y c h s e p a r o w a l n y c h l i n i o w o , r e g u Ba u c z e n i a
U |y t y z p o w o d z e n i e m w w i e l u z a s t o s o w a n i a c h
p e r c e p t r o n u p o p r z e z m o d y f i k a c j w a g s i e c i
u m o |l i w i a b e z b Bd n e d o p a s o w a n i e d o d a n y c h
M S I - w 5 / 5 3 M S I - w 5 / 5 4