Sieci CP str116

oznaczającej uśrednioną po zbiorze wszystkich możliwych realizacji procesu uczenia wartość obiektu • (konkretna interpretacja tego obiektu będzie dalej określona). Wartość oczekiwana jest warunkowa (co zapisano z użyciem symbolu |W). Na przykład można zapisać, że

E { X | W } = X

gdzie X oznacza wartość średnią X, ponieważ X jest. statystycznie niezależne od W.

Rozważmy teraz zmienność kąta 0 pomiędzy wektorami X i W w toku procesu uczenia. Ponieważ z definicji

„ X^TW

^cose=prwii

przeto

_E{.₍»e,_/,|w} = E{l(^_i)|w)

Rozpisując dalej tę równość otrzymujemy:

_{= E} | <H*^T W)/'" <X^T W) rf(||W||)/<ft

I|X|| ||W||

||X|| ||W||*

Składnik ^d^y    ^nioze być obliczony przez pomnożenie obu stron równania ^ =

(o/ — 8WW^T)X przez czynnik p^pyfi' P°⁽*^cza-^S obliczania składnika —    1^

można wziąć pod uwagę równość ^ ■■ = 2 ||lV^r||    . Po uwzględnieniu tych tożsa

mości uzyskuje się zależność:

E{rf(cos0)/r/M W} =

n ||X||² — (X^rW)² l|X|| ||W||

(X^T W)² (o — ji ||W||)² ||Xi| ||W||3

która po uproszczeniu przyjmuje postać;

E {,/ (case)/ ,11 | W} = -

Łatwo zauważyć, że dla niezerowych wartości X „uśredniany” w toku procesu uczenia kierunek wektora W zmierza monofonicznie do kierunku wyznaczonego przez X. Ponieważ wyżej wykazano, że długość wektora W jest zbieżna do pewnej ustalonej wartości ||W*||² = ~_y zatem ogólnie można wykazać, że W w trakcie procesu uczenia zmierza do wektora W” = W(oc), przy czym

W*

₌ _V^x

v/?HX|| jest w istocie wektorem X o znormalizowanej długości yj^.