img038

38

3.7. Warianty metod uczenia i samouczenia

uczy się w ten sposób rozróżniać nadchodzące do niej bodźce i grupować je w pewne kategorie (cłustcr), gdyż neuron wy trenowany do rozpoznawania pewnego sygnału XW) będzie zdolny do rozpoznawania także tych sygnałów, które są podobne do tego wzorcowego. Ta zdolność do uogólniania zdobytego doświadczenia jest jedną z najważniejszych cecłi sieci neuronowej — oczywiście nie tylko przy omawianej tu regule uczenia. Regułę uczenia pochodzącą od praw Hebb nazywa się także niekiedy uczeniem korelacyjnym (corrclation łeaming), ponieważ zmierza ona do takiego dopasowania wag, aby uzyskać najlepszą korelację między sygnałami wejściowymi, a zapamiętanym w formie wartości wag „wzorcem” sygnału, na który określony neuron ma reagować. Ta terminologia ma pewną zaletę, gdyż eksponuje fakt uśredniania wejściowych sygnałów przez sieć uczoną według reguły Hebba. Istotnie, jeśli w ciągu uczącym znajdzie się kilka egzemplarzy sygnałów reprezentujących ten sam obiekt, lecz różniących się drobnymi szczegółami — wówczas sieć wytworzy pewien uogólniony wzorzec sygnału, a sygnał wyjściowy rozważanego neuronu y_m będzie miarą podobieństwa kolejnych sygnałów do tego uśrednionego wzorca. W wyniku tego uzyskuje się pewną generalizację doświadczeń zdobywanych przez sieć w trakcie procesu uczenia, dzięki czemu sieć zdolna jest także rozpoznawać obiekty, których jej nigdy wcześniej nic pokazywano (na przykład zniekształcone, niekompletne lub zakłócone przez szum).

Sieć ucząca się (bez udziału nauczyciela), według reguły Hebba, osiąga na ogól dobre wyniki i całkiem samoczynnie grupuje wejściowe sygnały w „kategorie” sensownie odpowiadające klasom podobnych do siebie sygnałów wejściowych X. Efekt ten nie jest jednak nigdy pewny, gdyż dość istotnie zależy od początkowego stanu sieci (początkowych, przypadkowych wartości ti>-^młfn) decydującego o tym, jak w początkowym etapie uczenia zaczną krystalizować się ośrodki przyszłych grup. Niewielka jest szansa na to, by różne klasy podobieństwa istniejące wśród wejściowych sygnałów od razu odnalazły „swoje” neurony, zatem trzeba się liczyć z tym, że na tę samą klasę „wskazywać” będzie kilka neuronów. Oznacza to, że liczba neuronów w sieci k musi być większa, niż oczekiwana liczba rozróżnianych klas, a pouadto nic pozwala z góry przewidzieć, który neuron nauczy się sygnalizować którą klasę. Posługując się przykładem, na który często powołują się autorzy odpowiednich prac, można oczekiwać, że sieć trenowana w celu rozpoznawania ręcznie pisanych liter nauczy się je identyfikować, ale nie wiemy z góry, który neuron sygnalizować będzie A, a który B. a także nie mamy gwarancji, że każdej literze odpowiadać będzie tylko jeden neuron — bardziej prawdopodobne jest, że kilka neuronów nauczy się rozpoznawać jako „swoje” A oraz (co gorsza) może się zdarzyć, że żaden neuron nie nauczy się rozpoznawać C.

3.7 Warianty metod uczenia i samouczenia

Proces samouczenia i samoorganizacji można uczynić bardziej efektywnym poprzez zastosowanie tak zwanego przyrostowego samouczenia (diffemitial hebbian learning), polegającego na uzależnieniu procesu zmiany wag od przyrostów sygnałów wejściowych na danej synapsie i wyjściowych, na danym neuronie:

₌    + „ [_(IU. _ *«">)(,«) _ jg-D)]

W niektórych wypadkach ta przyrostowa strategia daje znacznie lepsze rezultaty niż „czysty” algorytm Hebba. Inna modyfikacja algorytmu samouczenia pochodzi z wczesnych prac Grossberga [Gros74] i znana jest w literaturze jako koncepcja „gwiazdy wejść” (insfar trai-ning). W koncepcji tej wybiera się pewien neuron (powiedzmy o numerze m) i narzuca się