Budowa neuronu. Wejścia to dendryty, lub ściślej: sygnały przez nie nadchodzące. Wagi to cyfrowe odpowiedniki modyfikacji dokonywanych na sygnałach przez synapsy. Blok sumujący to odpowiednik jądra, blok aktywacji to wzgórek aksonu, a wyjście - to akson. Zaznaczam, że fakt, iż na rysunku są trzy dendryty, jest czysto przypadkowy. Liczba ich jest dowolna, zaś na moich rysunkach wynosi trzy jedynie ze względów estetycznych.

Idea działania sieci. Sieci używa się na zasadzie: pokażmy jej coś i zobaczmy, jak zareaguje. Czyli w skrócie: pytanie - odpowiedź. Owo pytanie to odpowiednio przetworzone dane (np. obraz, dźwięk, dane giełdowe, warunki pogodowe) przesyłane na wejście sieci. Po "usłyszeniu" pytania sieć podaje odpowiedź - znów są to pewne dane, które projektant sieci potrafi przełożyć na konkretne informacje.

Jak działa neuron? Na wejścia trafiają sygnały wejściowe. Są to po prostu liczby opisujące zadanie, które neuron ma rozwiązać. Każda z wag posiada pewną wartość. Sygnały są mnożone przez wartości wag (czyli ważone), wyniki owego mnożenia dodawane są do siebie w bloku sumującym. W ten sposób powstaje konkretna liczba, którą określa się jak potencjał mambranowy. Jest ona wysyłana do bloku aktywacji, gdzie może zostać dodatkowo przetworzona. Po ewentualnej operacji wykonanej w bloku aktywacji otrzymujemy gotową odpowiedź neuronu na sygnały wejściowe. bloku aktywacji. Otóż jest on pewną funkcją, której argumentem jest potencjał membranowy. Innymi słowy: jeśli potencjał membranowy oznaczymy jako j, odpowiedź, czyli wyjście neuronu jako y, a funkcję aktywacji jako f, to operację wykonywaną w bloku aktywacji można zapisać tak: y = f (j) Odpowiedź neuronu zależy więc od tego, jaką funkcją jest f.

Wagi. Wartości pewnych wejść neuronu są dla niego bardziej istotne, niż innych. Każde z wejść ma swoją wagę, czyli informację o tym, jak duże znaczenie dla neuronu ma sygnał podany na to wejście. I tak: wartość wagi mała co do wartości bezwzględnej znaczy, że dane wejście jest niezbyt ważne dla neuronu. Duża wartość dodatnia oznacza, że dane wejście ma duże znaczenie "pozytywne", zaś duża co do wartości bezwzględnej wartość ujemna to znak, iż wejście ma duże znaczenie "negatywne". Cała wiedza sieci mieści się w wagach. Nie można przy tym wyodrębnić z owej bazy wiedzy żadnej konkretnej informacji, czy fragmentu sieci odpowiadającego za konkretne zadanie - sieć działa wyłącznie jako całość.

Łączymy neurony. Właściwie to nawet jeden neuron można nazwać siecią - jednoelementową. Aby jednak móc użyć sieci w jakimś poważnym celu, trzeba będzie użyć większej ilości neuronów. Neuron może mieć jeden lub więcej dendrytów (a dla każdego po jednej synapsie) i dokładnie jeden akson. Łączymy je w prosty sposób: po pierwsze układamy je warstwami. Można zbudować sieć o jednej, dwóch, lub trzech warstwach - tworzenie większej ilości warstw nie ma praktycznie sensu.

Idea samouczenia. Zasadę samouczenia opisałem już pokrótce trzy rozdziały temu, ale nic nie zaszkodzi, jeśli co nieco przypomnę, aby uściślić i usystematyzować Twoje wiadomości. W przypadku uczenia nadzorowanego (z nauczycielem) sieć dla każdego wejścia otrzymuje informację o tym, jakie ma być prawidłowe wyjście. Ucząc się sama, informacji tej nie otrzymuje. Procedura samouczenia jest następująca: I Wyznaczane są losowo wartości wag dla całej sieci. II Sieć odbiera sygnał wejściowy i na jego podstawie wyznacza swoje wyjście. III Sieć ocenia wartość na wyjściu każdego neuronu warstwy wyjściowej (czyli pierwszej, gdyż w samouczeniu przeważnie mamy do czynienia z siecią jednowarstwową). IV Wagi poszczególnych neuronów zmieniane są zgodnie z zasadami: a) neurony, które silnie zareagowały na sygnał wejściowy (akceptacja), zostają nauczone tak, aby reagować na ten sygnał jeszcze silniej; b) neurony, które zareagowały słabo (obojętność), nie są uczone; c) neurony, które zareagowały silną odpowiedzią ujemną (odrzucenie), są uczone tak, aby jeszcze bardziej zdecydowanie odrzucały ten sygnał. IV Powrót do punktu drugiego. Z tego wniosek, że samouczenie jest niczym innym, jak rozwijaniem "wrodzonych" preferencji sieci. Teraz jednak przejdźmy do praktyki - później poteoretyzujemy.

Perceptron. W roku 1958 Rosenblatt opracował i zbudował sztuczną sieć neuronową nazwaną perceptronem. Ten częściowo elektromechaniczny, a częściowo elektroniczny układ przeznaczony był do rozpoznawania znaków alfanumerycznych z procesem uczenia jako metodą programowania systemu. Ważnym rezultatem Rosenblatta było ponadto udowodnienie tzw. twierdzenia o zbieżności perceptronu, które gwarantuje skończoną liczbę iteracji procesu uczenia, o ile dla zagadnienia modelowanego przy użyciu tego typu sieci optymalny układ wag istnieje. Pomimo iż działanie perceptronu nie było zadowalające z punktu widzenia zasadniczego celu (układ wykazywał dużą wrażliwość na zmianę skali rozpoznawanych obiektów oraz ich położenia w polu widzenia), był to ogromny sukces badań prowadzonych w tym zakresie. Przede wszystkim był to pierwszy fizycznie skonstruowany układ symulujący sieć nerwową, który wraz ze zdolnością do uczenia się wykazywał zdolność do poprawnego działania nawet po uszkodzeniu części jego elementów. W swojej najprostszej postaci perceptron zbudowany był z dwóch oddzielnych warstw neuronów reprezentujących odpowiednio wejście i wyjście. Zgodnie z przyjętą zasadą neurony warstwy wyjściowej otrzymują sygnały od neuronów warstwy wejściowej, lecz nie odwrotnie. Oprócz tego neurony z danej warstwy nie komunikują się między sobą.

Perceptron prosty Idea perceptronu jest zawarta w następujących zasadach: i) Elementem składowym perceptronu jest sztuczny neuron, którego model matematyczny może być opisany funkcją aktywacji unipolarną: y=1 gdy fi.0 lub y=0 gdy <=0 lub bipolarną: sgn(fi)=+1 fi>0 lub sgn(fi)=-1 fi<=0 przy czym w_i oznacza wagę i-tego połączenia wstępującego do elementu; u_i - wartość i-tego wejścia;  - wartość progową funkcji aktywacji. ii) Sieć perceptronową można podzielić jednoznacznie na ściśle uporządkowane i rozłączne klasy elementów zwane warstwami, wśród których wyróżnić można warstwę wejściową i wyjściową. Pozostałe noszą nazwę warstw ukrytych. iii) Perceptron nie zawiera połączeń pomiędzy elementami należącymi do tej samej warstwy. iv) Połączenia pomiędzy warstwami są asymetryczne i skierowane zgodnie z ich uporządkowaniem, tzn. od warstwy wejściowej do pierwszej warstwy ukrytej, następnie od pierwszej do drugiej warstwy ukrytej, itd. aż do warstwy wyjściowej. Nie ma połączeń zwrotnych.

Algorytm wstecznej propagacji błędów

Jest to podstawowy algorytm uczenia nadzorowanego wielowarstwowych jednokierunkowych sieci neuronowych. Podaje on przepis na zmianę wag w_ij dowolnych połączeń elementów przetwarzających rozmieszczonych w sąsiednich warstwach sieci. Oparty jest on na minimalizacji sumy kwadratów błędów uczenia z wykorzystaniem optymalizacyjnej metody największego spadku. Dzięki zastosowaniu specyficznego sposobu propagowania błędów uczenia sieci powstałych na jej wyjściu, tj. przesyłania ich od warstwy wyjściowej do wejściowej, algorytm propagacji wstecznej stał się jednym z najskuteczniejszych algorytmów uczenia sieci.

Ogólnie algorytm propagacji wstecznej wymaga dla każdego wzorca uczącego wykonania następujących działań: (1) Podaj wektor uczący u^ na wejście sieci. (2) Wyznacz wartości wyjść u_j^m każdego elementu dla kolejnych warstw przetwarzania neuronowego, od pierwszej warstwy ukrytej do warstwy wyjściowej. (3) Oblicz wartości błędów δ_j^M dla warstwy wyjściowej. (4) Oblicz wartość sumy kwadratów błędów _. (5) Dokonaj propagacji wstecznej błędu wyjściowego δ_j^M do poszczególnych elementów warstw ukrytych (6) Dokonaj aktualizacji wag kolejno pomiędzy warstwą wyjściową i ukrytą, a następnie pomiędzy warstwami ukrytymi przesuwając się w kierunku warstwy wejściowej.

Uczenie "bez nauczyciela", zwane też nienadzorowanym, jest możliwe wówczas, gdy mamy do czynienia z redundancją (nadmiarowością) danych wejściowych. Bez tej cechy obrazów uczących byłoby niemożliwe wyodrębnienie z nich wzorców, czy też rozpoznanie ich cech. Aby sieć mogła pracować bez zakłóceń, powinna istnieć możliwość podziału zbioru obrazów wejściowych na rozłączne klasy, według dobrze określonych cech wspólnych. Sieć powinna być zdolna do zidentyfikowania wspomnianych wspólnych cech w dowolnym prezentowanym wektorze wejściowym.

Reguła Hebba

Opierając się na zasadzie tworzenia się odruchów warunkowych, Hebb wprowadził następującą zasadę. Jeśli aktywny neuron A jest cyklicznie pobudzany przez neuron B, to staje się on jeszcze bardziej czuły na pobudzenie tego neuronu. Jeśli przez x_A i x_B oznaczymy stany aktywacji neuronów A i B, a przez w_AB - wagę ich połączenia synaptycznego, to powyższą regułę można zapisać w postaci następującego równania: W_AB(k+1)= W_AB(k)+ a x_A(k)+x_B(k) gdzie a oznacza pewną stałą dodatnią, sterującą procesem uczenia. Reguła Hebba posiada istotną wadę, mianowicie prowadzi do procesu rozbieżnego.

Samoorganizacja w sieci.

Świat zmysłów człowieka i zwierząt jest odwzorowywany geometrycznie w korze mózgowej. Połączenia siatkówki oka z korą wzrokową tworzą mapę retinotopową; ucha z korą słuchową - mapę tonotopową; receptory dotyku skóry tworzą obraz powierzchni ciała w korze somatosensorycznej. Za powstawanie tego typu odwzorowań odpowiada genetyka, a także proces samouczenia się mózgu.

W latach siedemdziesiątych podjęto próbę symulacji tworzenia się mapy retinotopowej. Odpowiednia sieć (na rysunku poniżej) obok jednokierunkowych połączeń pomiędzy elementami wejściowymi i dwuelementową tablicą elementów przetwarzających, zawiera połączenia oboczne pomiędzy elementami przetwarzającymi.

Najsilniejszemu wzbudzeniu podlega element o wektorze wag najbardziej zbliżonym do obrazu wejściowego. Połączenia oboczne wzmacniają wzbudzenia najbliższych sąsiadów, natomiast osłabiają wzbudzenia sąsiadów dalszych, a ich wpływ maleje asymptotycznie do zera wraz z odległością pomiędzy elementami. Ten rodzaj sprzężenia nazywa się modelem kapelusza meksykańskiego. W roku 1984 Kohonen zaproponował sieć spełniającą podobną funkcję jak powyższa, opierając się na idei konkurencji. Architektura sieci Kohonena jest uboższa o połączenia oboczne. Aktywacji podlega tylko jeden element przetwarzający - zwycięzca. W odróżnieniu od klasycznych sieci konkurencyjnych modyfikacji wag podlega nie tylko zwycięski element, lecz także elementy jego otoczenia według reguły: W_i(k+1)=w_i(k)+alfa(k)(u-w(k)), i należy do W LUB W_i(k+1)=0, i nie należy do W

gdzie W oznacza otoczenie elementu zwycięskiego, które może być rozumiane jako zbiór indeksów elementów najbliższych zwycięzcy, np. geometrycznie, w_i jest wektorem wag wstępujących do i-tego elementu przetwarzającego, a u - wektorem wejściowym. Współczynnik uczenia a(k) jest malejącą funkcją czasu. Udoskonaloną formą uczenia jest reguła W_i(k+1)= w_i(k)+alfa(k) z(i,j)(u-w(k). Uczeniu poddaje się tu wszystkie neurony, jednak współczynnik uczenia modelowany jest funkcją z(i,j) odległości i-tego elementu przetwarzającego od elementu zwycięzcy j.

Modyfikacja wag według powyższego wzoru powoduje, że zwycięski element staje się jeszcze bardziej czuły na podawany obraz wejściowy i przy ponownej prezentacji wygenerowany zostanie jeszcze silniejszy sygnał wyjściowy. W przypadku pozostałych elementów, wzmocnienie lub osłabienie wag połączeń jest czynnikiem separującym wektory wejściowe znacznie różniące się od siebie, oraz powodującym aktywację zbliżonych topograficznie elementów wyjściowych w przypadku podobnych wektorów wejściowych. Stąd nazwa sieci: mapa cech Kohonena. Zależność czasowa (iteracyjna) współczynnika uczenia, a zatem i promienia otoczenia elementu zwycięzcy, prowadzi do stopniowego ustalania się mapy topograficznej obrazów wejściowych. W początkowej fazie następuje przyporządkowanie każdej klasie obrazów wejściowych pewnego zbioru elementów warstwy przetwarzającej. Wraz ze zmniejszeniem się wartości współczynnika uczenia zachodzi proces precyzyjnego dopasowywania wag w poszczególnych obszarach warstwy wyjściowej do wejściowych wzorców uczących. Należy dodać, że nie ma określonego teoretycznie sposobu zmniejszania współczynnika uczenia. Kohonen zaleca jego wyznaczanie w sposób eksperymentalny.

---