Plan wykładu

"

"
Sztuczne sieci neuronowe
" Uczenie z nauczycielem

" Rodzaje funkcji celu
jednokierunkowe wielowarstwowe

"

Katedra Oprogramowania
e-mail:
2
Sztuczne sieci neuronowe
Działanie sieci wielowarstwowej Problem XOR (podej cie I)

zielony = 1; niebieski = 0
3 4
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
Problem XOR (podej cie II) Uczenie z nauczycielem
" Minimalizacja funkcji celu E


"




funkcji celu






, , ,


1 2

" tzw. kierunek minimalizacji

p(W(k)) (najprostsza metoda p(W)=-
spadku)

"

1)
( ( ) ( ( ))

gdzie
5 6
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
1
Funkcje celu Funkcje celu

"
1
2

" Funkcja celu Karayiannisa
 dla pojedynczego wzorca
�( )

2
1


2
1
2 2


 1 ( )
( ) ) (1 ) ( )
� �
�( � 1
1 1
1 1
2
2

" 1
gdzie
" -



"
�

np
1
"



1

( ) ln[cosh( )]
1



2

�( )


1
7 8
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
Funkcje celu Funkcje celu
" logarytmiczna ( ) " Funkcja Hampela



( )
2
�

�log(1 1 )

2




�
1
1 2
2





" a) funkcja Hampela; b) pochodna funkcji Hampela
9 10
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
Funkcje celu Algorytm wstecznej propagacji bł du
" ang.

wzorcowych binarnych





( log (1 )log[1 ])
��
1


1

, czyli






( log (1 )log[1 ])
min ��
1


1

gdy
,

otrzymujemy:






1



(1 )log
�� log 1
1

1
Kullback-

11 12
Leibler a
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
2
Metoda wstecznej propagacji bł du
Oznaczenie symboli
(podej cie klasyczne)
"
2


2


(2) (2) (1)
1 1


� � � 0 �
1 2 1 � 0
0
2
" Korekta wektora wag:


( )

" ij

(2)

(2)
" wij(1)
(2)
2) (2) 2) �
" wij(2) - ( (
0

" vi

"
13 14
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
Metoda wstecznej propagacji bł du Metoda wstecznej propagacji bł du
po podstawieniu otrzymujemy:
(2)

(2)

( )

1
2
( )
(2) (2)
2) (2) 2)
( (
2







1





(2)

(2) )
(2)
(
( ) 2
(2) (2) (2) )
( ) (

otrzymujemy:
(2)

(2) (2)


�
0 (2)

2) (2)
(
15 16
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
Metoda wstecznej propagacji bł du Metoda wstecznej propagacji bł du



"


(2)



1) ( (
2) 2) (2) ( ) ) 2 )
( (
1) 1)
�( )
( (
( ( )


1

2) 1)
(
(
(
(
(1) 1)
�( ) 2) ) 2) ( )
( (
" Korekta wag dla warstwy ukrytej:

1

(1)

(1)

(1) (2) 2)
(
(
1) ( )
(
(1) ) (1) (1) (1) (1) (2) 2)
� ( ( )
1 � ( )

1 (1)
otrzymujemy


1) (1)
(
17 18
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
3
Wsteczna propagacja bł du w praktyce Algorytm wstecznej propagacji bł du

x1 Wi1(1) W1i(2) 1 y1
Propagacja
vi

xj
i j yj

"

xN wiN(1) wMi(2)
" , yi
i
yM
M

(2)
"
i
"
(2) 1 (y1-d1)

W1i(2)
(1)
1
i Propagacja

"

i j
(yj-dj)


(2)
wMi(2)
M
M
(yM-dM)
19 20
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
Uaktualnianie wag Minimalizacja funkcji celu - problemy

"


1
2

�( )

2
1

"

jeden cykl tzn

1
2


( )
� �
1 1
2





�

1
21 22
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
Problemy Wagi pocz tkowe
" minima lokalne " sigmoidalnych funkcji






 uaktualnianie przyrostowe wag z wzorcami podawanymi w losowej
" Wagi bliskie zeru - dla neuronów bipolarnych zerowe wagi nie









bardzo powolny.
"

"



 -3
lecz bardzo powolny)

23 24
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
4
Metoda momentu Metoda momentu





algorytmu

(

Korekta wag: ( ) ( ) 1)
gdzie

"


"
Kolejne kroki minimalizacji funkcji celu przy zastosowaniu metody

gradientowej i metody momentu


= 0.1; =0.9

25 26
Sztuczne sieci neuronowe Sztuczne sieci neuronowe
Kryteria stopu

"
zmiany funkcji kosztu jest mniejsza od pewnego minimalnego progu

"
zbiorze testowym
27
Sztuczne sieci neuronowe
5