img201 (5)

Elementarne wprowadzenie do techniki sieci neuronowych 195

9.6. Co może dać wprowadzenie konkurencji do sieci?

Samouczeniu można poddawać sieci dowolnego typu, ale szczególnie ciekawe wyniki otrzymuje się, gdy proces samouczenia sieci połączy się z jeszcze jednym procesem - konkurencji. Konkurencja (rywalizacja) między neuronami nie jest dla Ciebie tak całkiem nowym zjawiskiem. Już w podrozdziale 4.8 opisałem Ci (pamiętasz? jak nie, to zajrzyj do programu 02B.BAS) między innymi to, jak wyglądają i jak działają sieci, których neurony “konkurują” czy też “rywalizują” ze sobą. Jak zapewne pamiętasz, w sieciach z konkurencją wszystkie neurony otrzymują sygnały wejściowe (generalnie - te same, ponieważ sieci takie z reguły są jednowarstwowe), wszystkie obliczają sumy tych sygnałów (oczywiście przemnożonych przez odpowiednie - dla każdego neuronu inne - współczynniki wagowe), a następnie odbywa się “konkurs”. Polega on na tym, że obliczone przez wszystkie neurony wartości sumy przemnożonych przez indywidualne “wagi” sygnałów wejściowych (tak zwanych wypadkowych pobudzeń) są porównywane ze sobą i wyłaniany jest “zwycięzca”, czyli ten neuron, który najsilniej zareagował na dany wejściowy sygnał.

Jak pamiętasz, pobudzenie neuronu jest więc tym silniejsze, im lepsza będzie zgodność między sygnałami wejściowymi podanymi w danej chwili, a wewnętrznym wzorcem. Wiedząc, jakie neuron ma współczynniki wagowe (na podstawie ich położenia w przestrzeni sygnałów wejściowych) wiesz zatem, które neurony powinny zwyciężać w przypadku pokazywania próbek sygnałów wejściowych w poszczególnych miejscach przestrzeni sygnałów wejściowych. Łatwo będzie Ci to odgadnąć, ponieważ tylko ten neuron, którego wewnętrzna wiedza jest w największym stopniu zgodna z aktualnie podanymi sygnałami - wygra w konkurencji z innymi i tylko jego sygnał wyjściowy pojawi się na wyjściu sieci, a wszystkie pozostałe będą musiały milczeć. W następnej chwili pojawi się inny zestaw sygnałów wejściowych i wygra inny neuron, a mapa pokazująca rozmieszczenie wartości współczynników Wagowych pozwoli łatwo ustalić, który to będzie.

Z faktem, że pewien neuron został zwycięzcą, związanych jest kilka konsekwencji. Po pierwsze w większości sieci tego typu tylko ten jeden neuron ma niezerową wartość sygnału wyjściowego (zwykle wartość ta ustalana jest jako równa 1). Sygnały wyjściowe wszystkich pozostałych neuronów sieci są sztucznie zerowane, co w literaturze określane jest często skrótem WTA (Winner Takes AU - zwycięzca bierze wszystko).

Nie dość jednak na tym - również proces uczenia (dokładniej - samouczenia) ogranicza się zwykle do samego tylko “zwycięzcy”. Jego