img058

58

4.5. Uczenie nieliniowego neuronu

Rozkładając funkcjonał błędu na elementy składowe związane z poszczególnymi krokami procesu uczenia

Q= £ Q^u\

0=1)

gdzie

Q^w = \ (*«>- #⁰⁾)³

możemy zgodnie z gradientową strategią procesu uczenia zapisać algorytm zmian współczynników wag

„«> = 4„w =

'    ote,-

Analogiczny wzór wprowadzono wcześniej dla sieci ADALIME, jednak treść tego wzoru jest w tym wypadku bogatsza, ponieważ obecnie zależność sygnału y od współczynników' wag te,-ma uwikłany charakter, uwzględniający nieliniową funkcję ^(e):

_ 0Q^{i)    _ 0Q⁽ⁱ' difn ć?e<»

0u>i    Oun dtp¹ de 0) duy

= - (-0) _ ,/;l) - _ _<$0)_>

Pierwszą pochodną występującą w omawianym wzorze można obliczyć bardzo łatwo 0Q<»

podobnie jak trywialną postać ma także ostatni z rozważanych czynników

dwi

Jedyny problem może powstać z czynnikiem ^TTT ponieważ oczywiście

^> _ (ftp (e)

de^(J l    1

a funkcja ^>(e) nie zawsze jest różniczkowalna. Dlatego tak chętnie (i trochę bezkrytycznie) przyjmowana jest w rozważaniach nad sieciami neuronowymi funkcja logistyczna

^y= (_»>

ponieważ zaletą tej funkcji jest prosta i łatwa do obliczenia wartość jej pochodnej

Ostateczny wzór, na podstawie którego dokonuje się procesu uczenia sieci złożonej z nieliniowych elementów, może być zapisany w postaci

^’ =

Wzór ten dla funkcji logistycznej zapisany może być w prostszej postaci bezpośrednio użytecznej przy konstrukcji elementów naśladujących sieci neuronowe lub algorytmów symulujących te sieci.