Sieci CP str091

91

Rozdział 7. Sieć Hopfielda

może być przedstawiona w formie klasycznej sigmoidy

l+expH? 3P)

Funkcja ta dla dużych 0 jest bardzo stroma i przypomina funkcję progową, dyskutowaną wyżej. Natomiast dla małych 0 funkcja ta ma przebieg gładszy i łagodniejszy, w wyniku czego zachowanie sieci ciągłej zaczyna istotnie odbiegać od opisanego wyżej zachowania sieci dyskretnej. W szczególności przy malejącym 0 zaczynają znikać niektóre punkty stale.

7.6 Maszyny Boltzmanna

Z opisywaną wyżej siecią Ifopfielda kojarzone są zwykle tak zwane Maszyny Boltzmanna. Koncepcja takiej maszyny oparta jest na założeniu, że stan (sygnał wyjściowy każdego neuronu może się zmieniać w sposób losowy z określonym prawdopodobieństwem. Prawdopodobieństwo to zależy od „energii” i „temperatury” sieci podobnie jak w systemach fizycznych (termodynamicznych), w których gęstość prawdopodobieństwa p (E,T) energii systemu E związana jest z temperaturą T znanym wzorem Boltzmanna

p(E,7) = «"^£/tT

gdzie k jest stalą Boltzmanna. Przenosząc to fizyczne prawo do informacyjnego systemu, jakim jest sieć neuronowa, możemy na każdym kroku j związać z neuronem o numerze m „energię” wyrażającą nadwyżkę jego łącznego pobudzenia ponad progiem pobudzenia Wo"^.

£&> = e&>- w⁽0^m)

Następnie w oparciu o energię EtP wyznaczane jest prawdopodobieństwo pn{- zgodnie z regułą będącą uogólnieniem prawa Boltzmanna:

p«=l / [l+expM£«/r«)]

gdzie 6 jest. pewną arbitralnie dobieraną stalą, a T⁽^ reprezentuje symulowaną w j-tym kroku „temperaturę” sieci. Przy podanych założeniach algorytm doprowadzania sieci do stanu równowagi sprowadza się do kolejnego wykonywania dwóch kroków:

1. Dla ustalonego 7*^ wyliczane są wszystkie wartości pm\ a następnie losowo z prawdopodobieństwem pn,^ł ustawiane są wartości sygnałów wyjściowych neuronów ym-Konkretnie wykonuje się to w taki sposób, że dla każdego kroku j i dla każdego neuronu m losowana jest z równomiernym rozkładem prawdopodobieństwa wartość przypadkowa ć 6 [0,1] (jest to zwykłe liczba pseudoprzypadkowa pochodząca z generatora liczb pseudolosowych w przypadku realizacji komputerowej modelu sieci), a następnie ustala się wartości zgodnie z regułą:

itm —