img054 (36)

48 Uczenie sieci

Konieczność takiego prezentowania ciągu uczącego “w kółko” wynika z faktu, że nawet przy założeniu świętej cierpliwości nauczyciela można zgromadzić jako materiał do uczenia sieci kilkadziesiąt, czasem kilkaset, w sporadycznych wypadkach kilka tysięcy przykładów - nigdy jednak nie setki tysięcy czy miliony, a tylu właśnie kroków uczenia wymagają często trenowane sieci. Nie ma więc wyjścia - trzeba te same obiekty (to znaczy sygnały wejściowe i wzorce odpowiedzi sieci) pokazywać wiele razy. Zdecydowanie niekorzystne jest jednak pokazywanie ciągu uczącego stale w tej samej kolejności jego elementów. Takie periodyczne nauczanie może prowadzić do pojawiania się określonych cykli wartości współczynników wagowych, co nie posuwa naprzód procesu uczenia i było przyczyną wielu znanych mi osobiście niepowodzeń. Bardzo ważna jest więc randomizacja procesu uczenia -przypadkowe mieszanie ciągu uczącego i pokazywanie sieci jego elementów za każdym razem w innej kolejności. Komplikuje to nieco proces uczenia, ale w większości zadań jest warunkiem uzyskania sensownych wyników.

3.9. W jaki sposób sieć może się uczyć sama?

Postawione w tytule tego podrozdziału pytanie kieruje nas do zagadnień znanych w literaturze pod nieco przewrotną nazwą “uczenia bez nauczyciela”. Koncepcja zadania, które ma być rozwiązywane, sprowadza się do tego, by sieć sama z siebie doskonaliła sposób rozwiązywania określonego zadania nie mając do dyspozycji gotowych wzorów zadań wraz z rozwiązaniami. Czy to jest jednak w ogóle możliwe? Jak można oczekiwać, że sieć będzie doskonaliła swoje działanie, nie dając jej w tym zakresie żadnych wskazówek?

Otóż okazuje się, że jest w pełni możliwe i nawet stosunkowo łatwo osiągalne spontaniczne samoorganizowanie się sieci neuronowej - przy spełnieniu kilku prostych warunków. Najprostsza koncepcja samouczenia sieci oparta jest na spostrzeżeniu fizjologa i psychologa amerykańskiego, Donalda Hebba, że w mózgu zwierząt (i w umyśle człowieka) zachodzą procesy wzmacniania połączeń między neuronami (lub całymi ich zespołami, tak zwanymi ośrodkami), pod warunkiem, że zostały one pobudzone do pracy równocześnie. W ten sposób powstają skojarzenia, tak (zdaniem Hebba) kształtują się odruchy, tak również formują się proste formy umiejętności ruchowych i percepcyjnych.

Przenosząc teorie Hebba na grunt sieci neuronowych informatycy zaprojektowali metodę samouczenia polegającą na tym, że sieci pokazuje się kolejne przykłady sygnałów wejściowych, nie podając żadnych informacji o tym, co z tymi sygnałami należy zrobić. Sieć po prostu