Sieci CP str117

117

Rozdział 9. Dynamika procesu uczenia sieci neuronowych

Do tego samego wniosku można dojść także na innej drodze. Rozważmy tak zwany punkt stały równania dynamiki uczenia, to znaczy taką wartość W", dla której rozwiązanie równania

d\V

— = (o I - 0 W W^T) X

przestaje się zmieniać, to znaczy dW/dt = 0. Rozważmy ten warunek przy podstawieniu X = X oraz W = W. Wówczas

{cni — 0 W’ W"⁷') X = 0

Spróbujmy znaleźć rozwiązanie w postaci W* = pX, gdzie p jest poszukiwaną stalą. Po podstawieniu tej „odgadniętej” formuły otrzymuje się równanie

	0 X - 0pXp(X^T X) = 0
a z niego	otX = 0 p' ||X|| X
i dalej	^P VF||X||
a zatem	w* _ v

Przypadek 4. Zagadnienie liczenia jest dwuliniowe, gdyż obie rozważane funkcje są liniowo zależne od y : <f> = ol t/, 7 = 0y. Wówczas

dW

—<*_VX—fiyW

albo — uwzględniając równanie opisujące funkcjonowanie neuronu

dW    —    _T

—— = « X X^T W - fł W W^T X dt

Wprowadzając oznaczenia:

E { X | W } = X

oraz

E{XX^r|W}= C_xx

gdzie C_Xx jest macierzą kowariancji składowych wektora X, otrzymujemy równanie:

<7IV

— = _ttc_xxw -n (x^Tw) w

łatwo rozpoznawalne jako równanie Bernouliego drugiego stopnia. Ustalenie zachowania rozwiązań tego równania nie jest tak łatwe, jak w poprzednio rozważanym przypadku: w szczególności poszukiwanie punktu stałego W* za pomocą warunku ~ = 0 prowadzi do trywialnego rozwiązania W’ = 0, całkowicie nieprzydatnego w naszych rozważaniach. Łatwo można jednak wykazać, że rozwiązaniem (określającym punkt stały równania) są