Sieci CP str092

92

7.6. Maszyny BoUzmanua

2. Obniża się stopniowo wartość w kolejnych krokach (na przykład według reguły

T^j+i) ₌ y{; J _ _€

albo

T<>^+x> = 7^J^f> (1 — 0

i powtarza się punkt 1 aż do osiągnięcia stanu równowagi.

Proces ten - na podstawie analogii z procesem tzw. odprężania stosowanego w cieplnej obróbce metali nazywa się zwykle symulowanym odprężaniem (simnlated anne-a ling), ponieważ podobnie jak obrabianemu materiałowi — sieci nadaje się na początku wysoką ,,temperaturę” a potem stopniowo się ją obniża doprowadzając do osiągnięcia globalnego minimum łącznej energii wewnętrznej sieci.

Technika ,.maszyny Boltzmauna” może być zastosowana do dowolnej sieci, nie tylko sieci Hopfielda (autoasocjacyjnych). Jeśli sieć ma wyróżnione sygnały wejściowe i wyróżnione sygnały wyjściowe (a więc jest siecią typu feedforward zgodnie z wyżej przyjętą terminologią), to wówczas także można skorzystać z koncepcji osiągania przez sieć stanu „równowagi termodynamicznej” w taki sposób, że w kroku j = 0 podaje się na wejście sieci sygnały X. a potem stosując, wyżej opisany algorytm dla j = 1,2,... doprowadza się sieć do stanu równowagi o najmniejszym potencjale energetycznym i odczytuje się odpowiedź z wyjść neuronów mających charakter elementów końcowej warstwy.

Opisany algorytm zastał uogólniony przez Hintoua i Scjuowskiogo [łlinlfitj] w sposób następujący. Załóżmy, że mamy uczyć pewną konkretną sieć jakiejś określonej formy przetwarzania informacji, posługując się ciągiem uczącym U = {<    >, k = 1,2, N},

gdzie X jest wektorem sygnałów wejściowych podawanych do niektórych elementów sieci, a Z jest wektorem wyjściowym określającym sygnały, jakie są oczekiwane na wyjściach także niektórych elementów sieci. Wówczas algorytm uczenia sieci można opisać wymieniając trzy czynności:

1.    Obliczanie „związanych” prawdopodobieństw.

Krok ten przewiduje wykonanie następujących operacji:

a.    Wymusza się wynikające z ciągu uczącego wartości wejść X* i wyjść Z* wyróżnionych neuronów wejściowych i wyjściowych.

b.    Pozwala się sipci dojść do stanu równowagi.

c.    Rejestruje się sygnały wyjściowe y\» * wszystkich elementów sieci.

d.    Powtarza się punkty od a do c. dla wszystkich elementów ciągu uczącego (dla k = 1,2,..., N), zbierając statystykę, dzięki której po zakończeniu pokazów wszystkich elementów ciągu uczącego możliwe jest obliczenie prawdopodobieństw tego, że sygnały wyjściowe neuronów o numerach i oraz j mają równocześnie wartość. 1.

2.    Obliczanie „nie związanych” prawdopodobieństw.

Krok ten przewiduje wykonanie następujących operacji:

a. Wymusza się przypadkowo wartości sygnałów wyjściowych wszystkich neuronów sieci.