Sieci CP str098

Rozdział 8

Sieci pamięci skojarzeniowej

8.1 Sieć Hintona

Pamięć skojarzeniowa jest jednym z podstawowych atrybutów ludzkiego mózgu. Pamięć taka ma dwie istotne cechy, odróżniające ją w sposób zasadniczy od pamięci systemów technicznych, na przykład komputerów. Po pierwsze, jak wynika z jej nazwy, informacje zarejestrowane w pamięci asocjacyjnej mogą być dostępne poprzez podanie na wejściu systemu informacji skojarzonej, selekcjonującej jedną z zapamiętanych wiadomości na drodze asocjacji, a więc na drodze zdecydowanie odmiennej od dostępu adresowego, charakterystycznego dla wszelkich klasycznych systemów obliczeniowych, baz danych czy nawet systemów ekspertowych. Po drugie, ślad pamięciowy, zwany czasem engramem, nie ma w pamięci asocjacyjnej ścisłej lokalizacji, gdyż każda zarejest rowana informacja zlokalizowana jest w istocie w całej pamięci, na zasadzie kolektywnego działania wszystkich jej elementów. Taka technika zapisu informacji nazywana jest hołologiczną. Jej fizycznym przykładem jest hologram, do którego często odwołują się badacze zafascynowani właściwościami ludzkiej pamięci i ludzkiego sposobu uczenia się.

0 zaletach i wadach pamięci skojarzeniowej napisano już cale tomy, nie zachodzi więc potrzeba dyskusji tych podstawowych zagadnień w tej książce, natomiast niewątpliwie interesująca jest tu możliwość realizacji pamięci skojarzeniowej za pomocą sieci neuronowych. Najprostszą siecią tego typu jest sieć opracowana w 1981 roku przez Hintona [HintBl] i tę sieć najpierw niżej zaprezentujemy.

Rozważymy sieć o dwóch warstwach z pełnym („każdy z każdym”) schematem połączeń elementów pierwszej warstwy z elementami drugiej warstwy. Niech sygnały wejściowe podawane do pierwszej warstwy tworzą wektor X, a sygnały wyjściowe, powstające na wyjściach drugiej warstwy, tworzą wektor Y.

Jak zauważymy, pierwsza warstwa nie uczestniczy właściwie w procesie przetwarzania informacji i pełni raczej funkcję elementu normalizującego sygnały.

Cały sens działania sieci polega więc na odpowiednim doborze wag gdyż w nich zawierać się musi cala wiedza systemu. Wiedza ta pochodzi z ciągu uczącego U, którego struktura może być rozważana jako ciąg podlegających kojarzeniu par wektorów: wejściowego X i wyjściowego Y.