img116

116

oznaczającej uśrednioną po zbiorze wszystkich możliwych realizacji procesu uczenia wartość obiektu • (konkretna interpretacja tego obiektu będzie dalej określona). Wartość oczekiwana jest warunkowa (co zapisano z użyciem symbolu |W). Na przykład można zapisać, że

E { X | W } = X

gdzie X oznacza wartość średnią X, ponieważ X jest. statystycznie niezależne od W.

Rozważmy teraz zmienność kąta 0 pomiędzy wektorami X i W w toku procesu uczenia. Ponieważ z definicji

„ X^TW

^cose=pnw

przeto

Rozpisując dalej tę równość otrzymujemy:

■tftmW'"}-

f t/(X^rW)/<lt _ (X⁷ W) f/(||W||)/«//    1

l ||X|| ||W||    ||X|| ||W|P    ¹ j

Składnik ^dy    ^,ll°żc być obliczony przez pomnożenie obu stron równania ⁼

(oI —0WW^T)X przez czynnik ||xjf |[tv|| • Podczas obliczania składnika ^ haIi

można wziąć pod uwagę równość ⁴ W- = 2||1V|| —Po uwzględnieniu tych tożsamości uzyskuje się zależność:

E{rf(cos0)/r/f| w} =

<y ||X||² - 0 (X^TW)² IIX|| ||W||

(X^r W)² (o - j) ||W||)² ||X|| ||W|p

która po uproszczeniu przyjmuje postać:

E {</ |c«6)/ <11 | W} = -    sin (-)

Łatwo zauważyć, że dla niezerowych wartości X „uśredniany” w toku procesu uczenia kierunek wektora W zmierza monofonicznie do kierunku wyznaczonego przez X. Ponieważ wyżej wykazano, że długość wektora W jest. zbieżna do pewnej ustalonej wartości ||W“||² = 2, zatem ogólnie można wykazać, że W w trakcie procesu uczenia zmierza do wektora W“ = W(oc), przy czym

W*

₌ ^_x

v/?HX|| jest w istocie wektorem X o znormalizowanej długości yj^.