img202 (5)

196 Sieci neuronowe samouczące się

(i tylko jego!) współczynniki wagowe są zmieniane, przy czym proces ten przebiega w taki sposób i w takim kierunku, by przy następnym konkursie z tym samym sygnałem wejściowym ten “zwycięski” neuron wygrał jeszcze bardziej przekonywująco!

Jaki to ma sens? W celu odpowiedzi na to pytanie prześledźmy dokładnie, co się dokładnie dzieje w samouczącej się sieci. Pojawia się obiekt, reprezentowany przez swoje sygnały wejściowe. Sygnały te są podawane do wszystkich neuronów i tworzone są ich “wypadkowe pobudzenia” na zasadzie przemnożenia sygnałów wejściowych przez wagi danego neuronu. Im bardziej wagi neuronu są podobne do sygnałów wejściowych - tym silniejsze powstaje “wypadkowe pobudzenie”. Mówiliśmy już o tym, że zestawy wag można traktować jako “wzorce” sygnałów wejściowych, na które każdy neuron jest uwrażliwiony. Zatem im bardziej sygnał wejściowy przypomina wzorzec przechowywany przez rozważany neuron - tym silniejszym sygnałem odpowiada on na jego pojawienie się. Jeśli więc któryś neuron zostaje w pewnym momencie “zwycięzcą” to znaczy, że jego “wzorzec wewnętrzny” jest najbardziej podobny do aktualnie pojawiającego się sygnału wejściowego.

Ale z jakiego powodu ma być podobny?

Otóż na początku uczenia może to wynikać wyłącznie z losowego procesu inicjalizacji wag. W każdej sieci neuronowej początkowe wartości współczynników wag nadawane są wszystkim neuronom w sposób losowy. Te przypadkowo przydzielone współczynniki wagowe okazują się potem bardziej lub mniej podobne do tych zestawów sygnałów wejściowych, które sieć otrzymuje podczas uczenia, jako kolejne, rozpoznawane przez nią obiekty. Niektóre neurony mają zatem - na zasadzie czystego przypadku -“wrodzoną skłonność” do rozpoznawania pewnych obiektów oraz - równie przypadkową “niechęć” do rozpoznawania innych. Potem, w miarę jak postęp uczenia wymusza wzrastające z kroku na krok podobieństwo wewnętrznych wzorców przechowywanych w neuronach sieci do pewnych typowych obiektów, pojawiających się szczególnie często w procesie uczenia -przypadkowość znika i neurony coraz dokładniej specjalizują się w rozpoznawaniu przynależnych im klas. Na tym etapie neuron, który raz “zwyciężył” podczas próby rozpoznawania litery A - z tym większym prawdopodobieństwem zwycięży po raz kolejny, gdy na wejściu sieci pojawi się inna litera

A,    nawet napisana inną ręką. Na początku jest jednak zawsze sytuacja losowa - neurony same decydują, które z nich mają rozpoznawać A, które

B,    a które sygnalizować, że pokazany znak nie jest wcale żadną literą tylko - na przykład odciskiem brudnego palucha. Proces samouczenia zawsze jedynie te naturalne skłonności (powtarzam: przypadkowo powstające w wyniku wstępnej generacji wag) wzmacnia i krystalizuje.