Sieci CP str060

60

4.6. Uczenie sieci nieliniowej

,(i) _ _XU)

Jako ciekawostkę warto odnotować fakt, że takie neurony „buforujące" sygnały wejściowe występują także w rzeczywistym systemie nerwowym, w szczególności w narządach zmysłów i w systemach percepcyjnych, gdzie są znane pod nazwą „komórek dwubiegunowych” (jako że mają dwa bieguny: jedno wejście i jedno wyjście). Bardziej szczegółowa dyskusja tego zagadnienia zawarta jest w pracy {Tade91a].

Jak z tego wynika wszystkie sygnały w rozważanej sieci mają postać i/J? i jedynie na podstawie numeru neuronu m można będzie rozróżnić, z jakim sygnałem (wejściowym, wyjściowym lub może jednym z sygnałów warstwy ukrytej) mamy w tym wypadku do czynienia. Dla skrócenia zapisów i zwiększenia czytelności dalszych rozważań wprowadzimy jednak wygodną notację opartą na wyróżnieniu w zbiorze numerów neuronów 9J?(V_m m £ 9J?) następujących podzbiorów:

OJ?^    -    zbiór    numerów    neuronów wejściowych do sieci;

dJl_tJ    -    zbiór    numerów    neuronów wyjściowych z sieci;

W*    -    zbiór    numerów    neuronów warstwy ukrytej sieci;

OJ?,    -    zbiór    numerów    neuronów dostarczających sygnałów

wejściowych do konkretnego, rozważanego aktualnie neuronu;

OJ?₀ - zbiór numerów neuronów do których dany, rozważany aktualnie neuron, wysyła swój sygnał wyjściowy.

Korzystając z tych oznaczeń możemy teraz wprowadzić zasadę uczenia wielowarstwowej sieci z użyciem algortmu backpropagation. Zaczniemy od stwierdzenia, że w j-ty.m kroku procesu uczenia sygnał na wyjściu każdego m-tego neuronu sieci może być wyznaczony z zestawu zależności o ogólnej postaci

he

.esm,

gdzie przez    * oznaczono wartość współczynnika Wagowego synapsy łączącej wejście lu

tego neuronu z wyjściem /-tego neuronu — oczywiście podczas j-tego kroku procesu uczenia. Podany wyżej wzór jest potencjalnie niejednoznaczny, ponieważ symbole typu #,• występują w nim po lewej i po prawej stronie rozważanej formuły, można więc wyobrazić sobie sytuację, że dla pewnych ń i to dla wyznaczenia y^ potrzebne będzie y\^J^ i z kolei dla obliczenia wartości potrzebne będzie t/^\ Jest to jednak niejednoznaczność pozorna, gdyż przy sieciach heteroasocjacyjnyoh (feedforward) zawsze można wyznaczyć taką kolejność obliczania wartości ym . która gwarantuje, że w momencie wyliczania wartości t/,V,¹ dla kolejnego neuronu wszystkie wartości t/'^j5 dla i £ 9J?_X- będą już znane. Sprawa nie jest specjalnie trudna, wystarczy tylko kolejność obliczeń związać z kolejnością przekazywania sygnałów z wejścia sieci do neuronów w kolejnych warstwach: najpierw oblicza się dla m £ 9J?_r, potem dla m £ 9J?« (kolejno od wejścia w kierunku wyjścia), wreszcie na końcu obliczane są wartości dla m £ 9J?_y. Sprawa się oczywiście komplikuje, jeśli w sieci występują sprzężenia zwrotne, jednak ten przypadek będzie rozważany osobno i chwilowo jest pominięty.

Określony porządek jest także wymagany przy znajdowaniu wartości poprawionych wag synaptycznych, z tym, że jest. on przy metodzie backpmyag&tion dokładnie przeciwny do tego, jaki jest wymagany przy obliczaniu wartości sygnałów tjm w kolejnych elementach sieci.