Sieci CP str058

58

•1.5. Uczenie nieliniowego neuronu

Rozkładając funkcjonał błędu na elementy składowe związane z poszczególnymi krokami procesu uczenia

Q= £ &*'<

0=0

gdzie

Q⁰⁾ = \ (-*^WI- #⁰⁾)^S

możemy zgodnie z gradientową strategią procesu uczenia zapisać algorytm zmian współczynników wag

..0+0

- u>\* * = Aw[^ = -

Analogiczny wzór wprowadzono wcześniej dla sieci ADALINE, jednak treść tego wzoru jest w tym wypadku bogatsza, ponieważ obecnie zależność sygnału t/od współczynników wag w, ma uwikłany charakter, uwzględniający nieliniową funkcję. <p(e):

9Q^U) _    <h/^}> _ 0Q⁽ⁱ 1    3e<'>

Owj    i?w.'i <hf^} 1 deO) dnu

Pierwszą pochodną występującą w omawianym wzorze można obliczyć bardzo łatwo

7$T=    -#>■

podobnie jak trywialną postać ma także ostatni z rozważanych czynników

#<•01 dwi

Jedyny problem może powstać z czynnikiem ^77 ponieważ oczywiście

dcUi

<h (0

(lei)) a funkcja <p{c) nie zawsze jest różniczkowalna. Dlatego tak chętnie (i trochę bezkrytycznie) przyjmowana jest w rozważaniach nad sieciami neuronowymi funkcja logistyczna

y = ¥>(<) = —:-^-7—tt

1 + exp (- yCf

ponieważ zaletą tej funkcji jest prosta i łatwa do obliczenia wartość jej pochodnej

Ostateczny wzór, na podstawie którego dokonuje się procesu uczenia sieci złożonej z nieliniowych elementów, może być zapisany w postaci

Wzór ten dla funkcji logistycznej zapisany może być w prostszej postaci

= 11 [:^u) - u^U)){ * -    lf^U)

bezpośrednio użytecznej przy konstrukcji elementów naśladujących sieci neuronowe lub algorytmów symulujących te sieci.