img092

92

7.6. Muszyny Ro/tzmanua

2. Obniża się stopniowo wartość w kolejnych krokacli (na przykład według reguły

y<^jf+1) = 7*0') — £

albo

7<j^+l>=    -c)

i powtarza się punkt 1 aż do osiągnięcia stanu równowagi.

Proces ten — na podstawie analogii z procesem tzw. odprężania stosowanego w cieplnej obróbce metali nazywa się zwykle symulowanym odprężaniem (simulaled anne-altng), ponieważ podobnie jak obrabianemu materiałowi — sieci nadaje się na początku wysoką „temperaturę” T⁽^, a potem stopniowo się ją obniża doprowadzając do osiągnięcia globalnego minimum łącznej energii wewnętrznej sieci.

Technika „maszyny Boltzmanna” może być zastosowana do dowolnej sieci, nie tylko sieci Hopfielda (autoasocjacyjnych). Jeśli sieć ma wyróżnione sygnały wejściowe i wyróżnione sygnały wyjściowe (a więc jest siecią typu feedforward zgodnie z wyżej przyjętą terminologią), to wówczas także można skorzystać z koncepcji osiągania przez sieć stanu „równowagi termodynamicznej” w taki sposób, że w kroku j = 0 podaje się na wejście sieci sygnały X. a potem stosując, wyżej opisany algorytm dla j = 1,2,... doprowadza się sieć do stanu równowagi o najmniejszym potencjale energetycznym i odczytuje się odpowiedź z wyjść neuronów mających charakter elementów końcowej warstwy.

Opisany algorytm zastał uogólniony przez Hintona i Scjuowskiego [IlinttiG] w sposób następujący. Załóżmy, że mamy uczyć pewną konkretną sieć jakiejś określonej formy przetwarzania informacji, posługując się ciągiem uczącym U = {< X^Ł,Z* >, k = l,2,N}, gdzie X jest wektorem sygnałów wejściowych podawanych do niektórych elementów sieci, a Z jest wektorem wyjściowym określającym sygnały, jakie są oczekiwane na wyjściach także niektórych elementów sieci. Wówczas algorytm liczenia sieci można opisać wymieniając trzy czynności:

1. Obliczanie „związanych” prawdopodobieństw.

Krok ten przewiduje wykonanie następujących operacji:

a. Wymusza się wynikające z ciągu uczącego wartości wejść X* i wyjść Z* wyróżnionych neuronów wejściowych i wyjściowych.

b- Pozwala się sieci dojść do stanu równowagi.

c.    Rejestruje się sygnały wyjściowe yW wszystkich elementów sieci.

d.    Powtarza się punkty od a do c dla wszystkich elementów ciągu uczącego (dla k = 1,2,..., N), zbierając statystykę, dzięki której po zakończeniu pokazów wszystkich elementów ciągu uczącego możliwe jest obliczenie prawdopodobieństw P_t* togo, że sygnały wyjściowe neuronów o numerach i oraz j mają równocześnie wartość 1.

2. Obliczanie „nie związanych” prawdopodobieństw,

Krok ten przewiduje wykonanie następujących operacji:

a. Wymusza się przypadkowo wartości sygnałów wyjściowych wszystkich neuronów sieci.