img044

AA

3.9. Uczenie z forsowaniem

do postaci macierzowej:

w£^;+,, = w^ + f/Z'-*' [x⁰⁾]^r

Efekt uczenia można wówczas zapisać w postaci, sumarycznego wzoru

N    _T

W). =    »/ z^U) [x^(J)l + w^^J)

i=i

Załóżmy, że W* = 0 oraz przyjmijmy, że wszystkie wektory wejściowe w ciągu uczącym są ortonormalne, to znaczy

Vj [x⁰⁾]^T x^(m) = ( '

M J    \ 0 gdy J ź m

Wówczas sieć. nauczy się wiernie odtwarzać wymagane sygnały wyjściowe dla wszystkich rozważanych sygnałów wejściowych. Łatwo się o tym przekonać: załóżmy, że macierz W* jestjuż „nauczona” zgodnie z podanym wyżej wzorem i załóżmy, że w trakcie „egzaminu” pojawił się wektor sygnałów wejściowych X, identyczny z jednym z wcześniej przedstawionych wektorów uczących X^<m). Obliczając sygnał wyjściowy „nauczonej” sieci otrzymujemy:

Y = W_k X = £f_=I Z^l>' [X'>']^r X = £"₌₁ vZ^[i) [Xl>>]^T X'”*» =

= V Z^im) [X'^m*)^r X^{ml = II z^,m)

Jak widać, sieć jest w tym wypadku zdolna dokładnie odtworzyć zapamiętany sygnał, zatem może służyć jako pamięć. Mało tego, sieć jest także zdolna do uogólniania sygnałów wejściowych. Załóżmy, że zbiór uczący jest tak zbudowany, że wejściowe sygnały X^^ mogą być traktowane jako przypadkowo zakłócone realizacje pewnego idealnego wzorca X

X⁽>^, = X+Ó⁰⁾

gdzie składnik ^> reprezentuje „szum” zniekształcający wejściowe sygnały w każdym kolejnym prezentowanym przykładzie. Taki model jest. dość wiarygodny w wielu konkretnych zadaniach, na przykład przy rozpoznawaniu ręcznie pisanych liter, wektor X^(; * reprezentujący kształt kolejnej prezentowanej litery A. może być rozważany jako suma wektora cech X idealnej (takiej z podręcznika kaligrafii) litery A oraz przypadkowych zniekształceń pochodzących od indywidualnych cech pisma osoby piszącej *. Jeśli dla każdego z rozważanych wektorów wejściowych X^(;) podawać będziemy ten sam wektor wyjściowy Z (ponieważ wszystkie te próbki prezent ują w istocie przypadkowe odmiany tego samego obrazu), wówczas w wyniku procesu uczenia macierz wag zostanie zbudowana w następujący sposób:

m = e;^v=. '>z [x'»]^T = Y.U "^z l^x + C^J’]^T =

= _VZ (NX^T + Y.U K^0,]^r)

Jak widać w macierzy wag manifestować się będzie głównie idealny wzorzec X, ponieważ jego wartość mnożona jest przez N. którego wartość w ogólnym wypadku może być bardzo duża, podczas gdy suma

jV    -_r

£ M

;=i