img115

115

Rozdział 9. Dynamika procesu uczenia sieci neuronowych

zjawisko jest znane w biologii pod nazwą „habituacji”¹, a w teorii sieci neuronowych jest znane pod nazwą „wykrywacza nowości” (nordily dełeclor).

Przypadek 3. Tutaj także jedna funkcja jest liniowa, a druga stała, tylko odwrotnie, niż w poprzednio omówionym przypadku: 0 = ot *y = /3 y. Wówczas

dW

— = _aX-f>_v^w

Na pozór równanie to jest bardzo podobne do wyżej omówionego, jednak wsławienie liniowego równania opisującego funkcjonowanie neuronu (y = W^r X) ujawnia natychmiast rzeczywistą złożoność rozważanego tu problemu, ponieważ równanie dynamiki uczenia

dW .    _Tx

—— = (r« / — fl W W^T) X dt

jest w tym wypadku nieliniowo ze względu na W, a więc nie może być w ogólnym przypadku rozwiązane analitycznie. Istotnie, podane wyżej równanie jest szczególną postacią równania Riccatiego, którego całka nie jest znana w postaci analitycznej. Naturalnie w konkretnym przypadku zawsze pozostaje do dyspozycji rozwiązanie numeryczne, jednak jego przydatność jest bardzo ograniczona. Możliwe jest jedynie uzyskanie pewnych ogólnych informacji o wartościach W(J) przy dość oczywistych i możliwych do spełnienia w praktyce założeniach upraszczających. Przykładowo wymuszając obie strony podanego wyżej równania przez 2W^r otrzymujemy równanie

2W^t ^ = 2W^t U I - () W W⁷') X dl

Równanie to jest już równaniem skalarnym (nie wektorowym), a jego jedyną niewiadomą jest kwadrat modułu wektora W. Zapisując to w sposób jawny mamy:

|(l|W|[²)=2tf n ||W||²)

Można udowodnić, że rozwiązanie tego równania ||W||- dla y > 0 jest zbieżne do pewnej ustalonej wartości ||W*J|^a = ro można interpretować w ten sposób, że długość wektora ||W||² nie ulega w trakcie uczenia istotnym zmianom, natomiast istota uczenia polega na tym, że wektor W jest obracany w taki sposób, aby dążył do uzgodnienia swego kierunku z kierunkiem wektora X.

Podane wyżej rozważania wydają się być problematyczne, ponieważ w ogólnym przypadku trudno zagwarantować spełnienie warunku y > 0 dla dowolnego X. Rozwiązaniem może tu być jednak uwzględnienie wpływu nieliniowej funkcji ^(e), charakteryzującej się z reguły „odcinaniem” ujemnych wartości sygnałów y.

Zagadnienie obrotu wektora W w celu uzgodnienia jego położenia z kierunkiem wektora X (a dokładniej — z kierunkiem oczekiwanego (średniego) położenia wektora X) rozważymy jako problem statystyczny. Wprowadźmy pojęcie warunkowej wartości oczekiwanej:

_ E{- |W}

¹Habituarja jest procesem stopniowego przywyczAjania się .systemu nerwowego do niezmiennego zestawu bodźców zmysłowych. W wyniku habilitacji takie niezmienne bodźce po pewnym czasie przód ają być świadomie dostrzegane.