img098

Rozdział 8

Sieci pamięci skojarzeniowe]

8.1 Sieć Hintona

Pamięć skojarzeniowa jest. jednym z podstawowych atrybutów ludzkiego mózgu. Pamięć taka ma dwie istotne cechy, odróżniające ją w sposób zasadniczy od pamięci systemów technicznych, na przykład komputerów. Po pierwsze, jak wynika z jej nazwy, informacje zarejestrowane w pamięci asocjacyjnej mogą być dostępne poprzez podanie na wejściu systemu informacji skojarzonej, selekcjonującej jedną z zapamiętanych wiadomości na drodze asocjacji, a więc na drodze zdecydowanie odmiennej od dostępu adresowego, charakterystycznego dla wszelkich klasycznych systemów obliczeniowych, baz danych czy nawet systemów ekspertowych. Po drugie, ślad pamięciowy, zwany czasem e.ngramem, nic ma w pamięci asocjacyjnej ścisłej lokalizacji, gdyż każda zarejest rowana informacja zlokalizowana jest w istocie w całej pamięci, na zasadzie kolektywnego działania wszystkich jej elementów. Taka technika zapisu informacji nazywana jest holologic2ną. Jej fizycznym przykładem jest hologram, do którego często odwołują się badacze zafascynowani właściwościami ludzkiej pamięci i ludzkiego sposobu uczenia się.

0 zaletach i wadach pamięci skojarzeniowej napisano już cale tomy, nie zachodzi więc potrzeba dyskusji tych podstawowych zagadnień w tej książce, natomiast niewątpliwie interesująca jest tu możliwość realizacji pamięci skojarzeniowej za pomocą sieci neuronowych. Najprostszą siecią tego typu jest sieć opracowana w 1981 roku przez Hintona [HintBl] i tę sieć najpierw niżej zaprezentujemy.

Rozważymy sieć o dwóch warstwach z pełnym („każdy z każdym”) schematem połączeń elementów pierwszej warstwy z elementami drugiej warstwy. Niech sygnały wejściowo podawane do pierwszej warstwy tworzą wektor X, a sygnały wyjściowe, powstające na wyjściach drugiej warstwy, tworzą wektor Y.

Jak zauważymy, pierwsza warstwa nie uczestniczy właściwie w procesie przetwarzania informacji i pełni raczej funkcję elementu normalizującego sygnały.

Cały sens działania sieci polega więc na odpowiednim doborze wag w\*\ gdyż w nich zawierać się musi cala wiedza systemu. Wiedza ta pochodzi z ciągu uczącego U, którego struktura może być rozważana jako ciąg podlegających kojarzeniu par wektorów: wejściowego X i wyjściowego Y.