img117

117

Rozdział 9. Dynamika procesu uczenia sieci neuronowych

Do tego samego wniosku można dojść także na innej drodze. Rozważmy tak zwany punkt stały równania dynamiki uczenia, to znaczy taką wartość W”, dla której rozwiązanie równania

j = («MWW^r) x

przestaje się zmieniać, to znaczy dW/dt = 0. Rozważmy ten warunek przy podstawieniu X = X oraz W = W. Wówczas

(o-1 - y? W^r W"⁷’) X = 0

Spróbujmy znaleźć rozwiązanie w postaci W* = />X, gdzie p jest poszukiwaną stalą. Po podstawieniu tej „odgadniętej” formuły otrzymuje się równanie

oX — /?/>X/>(X^T X) = 0

<vX = ftp- ||X||X

₀=__nA

v/?l|X||

W‘=    ^ v

a z mego i dalej

a zatem

VP!|X||

Przypadek 4. Zagadnienie uczenia jest dwuliniowe, gdyż obie rozważane funkcje są liniowo zależne od y :    = ol t/, 7 = fi y. Wówczas

dW

dt

= ocyX—fiyW

= a X X‘ W - fi W W¹ X

albo — uwzględniając równanie opisujące funkcjonowanie neuronu dW

dt

Wprowadzając oznaczenia:

E { X | W } = X

oraz

E{XX^r|W}= C_xx

gdzie C_xx jest macierzą kowariancji składowych wektora X, otrzymujemy równanie:

!^ = crC_x,W-tf (X^TW) W

łatwo rozpoznawalne jako równanie Bernouliego drugiego stopnia. Ustalenie zachowania rozwiązań tego równania nic jest tak łatwe, jak w poprzednio rozważanym przypadku: w szczególności poszukiwanie punktu stałego W* za pomocą warunku = 0 prowadzi do trywialnego rozwiązania W’ = 0, całkowicie nieprzydatnego w naszych rozważaniach. Łatwo można jednak wykazać, że rozwiązaniem (określającym punkt stały równania) są