img102

102

8.2. Ogólne własności sieci Hintona

Jeśli jednak wektory nie są liniowo niezależne, to wówczas macierz wag W może być wyznaczona w postaci

W = F* X*⁺

gdzie X*⁺ jest macierzą pseudoodwrotną w stosunku do X*. W przypadku liniowo niezależnych wektorów X<*) macierz pseudoodwrotną X"⁺ jest identyczna z macierzą transpo-nowaną X"^T

X*⁺ = X'^T

i wówczas macierz W może być rozpatrywana jako macierz korelacji

W = F* X'^T

Tak więc sieć po nauczeniu rejestruje w swojej pamięci korelacyjne związki między sygnałem wejściowym X i wymuszającym F. Brak liniowej niezależności wejść powoduje, że zamiast idelanej macierzy korelacji uzyskujemy w wyniku procesu uczenia jej optymalną (w sensie najmniejszych kwadratów) aproksymację.

Jeśli rozważy się ważny z praktycznego punktu widzenia przypadek szczególny F“ = S", wówczas

W = F* F'⁺

i operacja wykonywana przez sieć nazywana jest ortogonalną projekcją, a jej interpretacja jest następująca: Dane w ciągu uczącym N wektorów F**> rozpina w    wy miarowej

przestrzeni pewną podprzestrzeń liniową L. Każdy konkretny wektor F może być wtedy poddany rzutowaniu na tę podprzestrzeń, w wyniku czego może być rozłożony na sumę dwóch wektorów

F = F+ F

gdzie

F = F* F*⁺ F

jest efektem rzutowania wektora F na podprzestrzeń L, a wektor F może być traktowany jako resisuum — zależnie od interpretacji jest to wektor błędu (gdy celem jest optymalne dokonanie rzutowania) lub wektor nowości, jeśli celem funkcjonowania sieci ma być wykrycie rozbieżności pomiędzy sygnałem aktualnie pojawiającym się na wejściu sieci, a wektorami zapamiętanymi w trakcie procesu uczenia.

Optymalne rzutowanie ortogonalne ma miejsce w przypadku liniowo niezależnych wektorów wejściowych X^*\ gdy macierz W jest w istocie macierzą autokorelacji sygnałów F:

W = F" F*^r

Ponieważ istnieje związek między iloczynem F” F*⁺ i F* F*^r dany jest wzorem

F* F*⁺ = a jr F* F^uT (I — a F* F'^t)*

;=0

zatem można uważać, że F* F"^T jest przybliżeniem zerowego rzędu (uwzględniającym tylko składnik dla k = 0) operatora F* F*⁺.