img100

100

8.2. Ogólne własności sieci Hintona

W takirn wypadku po pojawieniu się na wejściu nauczonej sieci sygnałów odpowiadających dokładnie pewnemu wektorowi X, który pojawił się w trakcie procesu uczenia (oznaczmy ten wektor XW), wówczas sygnał wyjściowy uzyskany z sieci można precyzyjnie obliczyć jako równy

y = w = f; x<‘> [y(*)]^T x“>

Ale zgodnie z zasadami rachunku macierzowego

co można łatwo przekształcić do postaci

■iT

y = jr x“> [y(‘>]^T x«> = £) x<‘> [x«>]^T y<*>

fc=l

Y = X⁽ⁱ⁾ [x^w)]    + X⁽ⁱ⁾ [x^y>]    Y<*> zaś to na podstawie przyjętych założeń można zapisać jako

Y = Y^fj)

ponieważ

x«> [xO')]^T = 1

[x<i)]^T Y^(t>= 0

oraz

E

tjŁj

X<*>

Jak z tego wynika, sieć Hintona po nauczeniu metodą Uebba pobudzona sygalem X^'^ odtwarza na swoim wyjściu dokładnie skojarzony z tym sygnałem (podczas uczenia) sygnał wyjściowy Y^.

8.2 Ogólne własności sieci Hintona

Opisany na końcu poprzedniego podrozdziału wynik polegający na idealnym odtwarzaniu przez sieć zapamiętanych informacji—jest interesujący, ale ma raczej akademickie znaczenie, ponieważ warunek ortonormalności wejść jest w praktyce bardzo trudny do zachowania. Na szczęście dalsze analizy zacłiowania sieci Hintona wykazały, że warunek ortonormalności wejść można znacznie osłabić bez utraty możliwości sensownego korzystania z pracy sieci.

Podstawowe znaczenie dla tych rozważań miały prace Kohonena [KohoHl], który rozpatrywał własności sieci autoasocjacyjnych i uzyskał bardzo ogólne wyniki, pozwalające określić warunki zapamiętywania i poprawnego odtwarzania informacji rejestrowanych przez sieć asocjacyjną. Kohonen stosował swój własny system oznaczeń, ale w tej książce jego osiągnięcia zastaną przedstawione z wykorzystaniem symboli ujednoliconych z innymi autorami. Rozważać będziemy sieć jednowarstwową o n wejściach i k wyjściach (liczba wyjść jest oczywiście identyczna z liczbą neuronów w sieci). Do każdego neuronu doprowadzone są wszystkie sygnały wejściowe, tworzące wektor X =< *i, «2, • • •. 2n > oraz sygnał /,•