Sieci CP str044

AA

Uczenie forsowaniem

do postaci macierzowej:

w^^+,) = wj^J) + >/z^fj] [x⁰⁾]^T

Efekt uczenia można wówczas zapisać w postaci sumarycznego wzoru

,v    _r

Wi = ]T [x^,;l] +wj_.^)ł

i = i

Załóżmy, że W[.¹¹ = 0 oraz przyjmijmy, że wszystkie wektory wejściowe w ciągu uczącym są ortoiiormalne, to znaczy

taH⁷ X<^m) = ( ¹    = ^m

³ l J    ( 0 gdy) ^ m

Wówczas sieć nauczy się wiernie odtwarzać wymagane sygnały wyjściowe dla wszystkich rozważanych sygnałów wejściowych. Łatwo się o tym przekonać: załóżmy, że macierz W*. jest już „nauczona” zgodnie z podanym wyżej wzorem i załóżmy, że w trakcie „egzaminu” pojawił się wektor sygnałów wejściowych X, identyczny z jednym z wcześniej przedstawionych wektorów uczących X^<m'. Obliczając sygnał wyjściowy „nauczonej” sieci otrzymujemy:

Y = W_k X = £]^V=, ii Z^(}) [X'>»]^T X = £'^V=ł yZW [*W]^T X¹”" =

= 7, Z^(n,) [X^|m>]^T X<"‘I = 71

Jak widać, sieć jest w rym wypadku zdolna dokładnie odtworzyć zapamiętany sygnał, zatem może służyć jako pamięć. Mało tego, sieć jest także zdolna do uogólniania sygnałów wejściowych. Załóżmy, że zbiór uczący jest tak zbudowany, że wejściowe sygnały mogą być traktowane jako przypadkowo zakłócone realizacje pewnego idealnego wzorca X

X^w» = X + *^ł'>

gdzie składnik reprezentuje „szum” zniekształcający wejściowe sygnały w każdym kolejnym prezentowanym przykładzie. Taki model jest. dość wiarygodny w wielu konkretnych zadaniach, na przykład przy rozpoznawaniu ręcznie pisanych liter, wektor X^(J> reprezentujący kształt kolejnej prezentowanej litery A, może być rozważany jako suma wektora cech X idealnej (takiej z podręcznika kaligrafii) litery A oraz przypadkowych zniekształceń pochodzących od indywidualnych cecli pisma osoby piszącej J«śłi dla każdego z rozważanych wektorów wejściowych X^(;) podawać będziemy ten sam wektor wyjściowy Z (ponieważ wszystkie te próbki prezentują w istocie przypadkowe odmiany tego samego obrazu), wówczas w wyniku procesu uczenia macierz wag zostanie zbudowana w następujący sposób:

m = e;^v=, 'iZ [*^ij)]^t =    '/Z [X +<⁽»]^T =

= „z (na^ + e", K^,’>]⁷j

Jak widać w macierzy wag manifestować się będzie głównie idealny wzorzec X. ponieważ jego wartość mnożona jest przez N. którego wartość w ogólnym wypadku może być bardzo duża, podczas gdy suma