Zalety sieci neuronowych 1) Zdolność do adaptacji 2) Zdolność do samoorganizacji (automatyczne uczenie) 3) Zmniejszona wrażliwość na uszkodzenia elementów 4) Zdolność do generowania nowych przypadków, na podstawie zdobytej wiedzy 5) Uniwersalność 6) Nie wymagają programowania tylko wykorzystują proces uczenia 7)Nieliniowość i nieparametryczność 8) Równoległość obliczeń

Podział zastosowań SSN 1) klasyfikacja obrazów 2) klasteryzacja/kategoryzacja 3) aproksymacja funkcji 3) predykcja/prognozowanie 4) optymalizacja 5) odtwarzanie 6) sterowanie

Realizacje sieci neuronowych 1) realizacje programowe 2) realizacje sprzętowe

Sztuczny neuron Do neuronu docierają sygnały czyli wartości wejściowe z zewnątrz lub pochodzące z wyjść innych neuronów. Każdy neuron posiada zależną od potrzeb liczbę n wejść (x₁ do x_n) i dokładnie jedno wyjście y. Wartości docierające do neuronu są przemnażane przez wagę synaptyczną (w_i), która przyjmuje wartość, ustalaną podczas uczenia. Wyznaczenie wartości wejściowej (pobudzenia e) w bloku sumacyjnym, będącej ważoną sumą wejść. Łączne pobudzenie neuronu przekształcane jest przez funkcję aktywacji neuronu f (zwaną inaczej funkcją przejścia).

Funkcja aktywacji Funkcja wykorzystywana do transformacji poziomu pobudzenia neuronu w sygnał wyjściowy. y = f (e) Rodzaje: 1) liniowa – bezpośrednie przekazanie wartości wyrażającej łączne pobudzenie neuronu na jego wyjście y = f (e) = e. 2) nieliniowa a) progowa (skokowa) b) sigmoidalna (logistyczna) c) tangensoidalna (hiperboliczna)

Funkcje aktywacji – progowa sieci z funkcją progową cechuje z reguły mała odporność na zakłócenia (słaba zdolność do uogólniania) i szybszy proces nauki; y = 0 lub 1

Funkcje aktywacji – sigmoidalna sigmoida zwana także funkcją logistyczną; y należy do przedziału (0, 1) ; większa odporność na zakłócenie (zdolność do uogólniania)

Funkcje aktywacji – tangens hiperboliczny szybsza zbieżność niż sigmoidy ; y należy do przedziału (-1, 1)

Uczenie sieci neuronowych Uczenie sieci to proces dobierania wag. Sieć uczy się prawidłowo działać na podstawie prezentowanych jej przykładów, następnie stara się odkryć i zapamiętać ogólne prawidłowości charakteryzujące te obiekty. Rozpoznane reguły ssn przechowuje w postaci rozproszonej w wartościach współczynników wagowych neuronów. Proces uczenia polega na określeniu wartości wag neuronów na podstawie informacji wydobytych w trakcie procesu uczenia ze zbioru uczącego. Kluczowym elementem w procesie uczenia są wagi wejść poszczególnych neuronów. Jeśli zmienią się wartości wag - neuron może pełnić inne funkcje w sieci. Uczenie sieci rozpoczyna się od nadania wagom neuronów wartości losowych. W każdym kroku iteracyjnego procesu uczenia wartości wag jednego lub kilku neuronów ulegają zmianie, w sposób określony przez określoną regułę uczenia. Dwa warianty procesu uczenia: z nauczycielem i bez nauczyciela.

Uczenie z nauczycielem Sieci podaje się przykłady poprawnego działania, które powinna ona potem naśladować w swoim bieżącym działaniu. Nauczyciel podaje konkretne sygnały wejściowe i wyjściowe, pokazując jaka jest wymagana odpowiedź sieci dla pewnej konfiguracji danych wejściowych. Zbiór przykładów zgromadzonych w celu ich wykorzystania w procesie uczenia sieci nazywa się ciągiem uczącym. Jeżeli mamy już nauczoną sieć, musimy zweryfikować jej działanie. W tym momencie ważne jest podanie na wejście sieci wzorców spoza zbioru treningowego w celu zbadania czy sieć może efektywnie generalizować zadanie, którego się nauczyła. Do tego używamy ciągu weryfikującego, który ma te same cechy co ciąg uczący tzn. dane dokładnie charakteryzują problem i znamy dokładne odpowiedzi. Ważne jest jednak, aby dane te nie były używane uprzednio do uczenia. W procesie weryfikacji nie modyfikujemy wag a jedynie orzekamy, czy sieć spełnia nasze wymagania

Sieć perceptronowa składa się z sztucznych neuronów z progową funkcją aktywacji. Sieć można podzielić na uporządkowane i rozłączne podzbiory neuronów, zwane warstwami; wyróżniamy warstwę wejściową, wyjściową i warstwy ukryte, dane przepływają w jednym kierunku od warstwy wejściowej przez warstwy ukryte do neuronów wyjściowych. Perceptron nie zawiera połączeń miedzy elementami tej samej warstwy

Algorytm wstecznej propagacji błędu Algorytm uczenia w sieciach wielowarstwowych. Przebieg algorytmu backpropagation (w skrócie BP): a) podanie na wejście sygnału uczącego x i wyliczenie aktualnych wyjść y b) porównanie sygnału wyjściowego y z sygnałem wzorcowym d, a następnie wyliczenie lokalnego błędu dla wszystkich warstw sieci c) adaptacja wag d) uczenie jest kontynuowane aż do momentu, gdy sygnały wyjściowe sieci będą dostatecznie bliskie oczekiwanym. # Celem algorytmu propagacji wstecznej jest minimalizacja funkcji energetycznej.

Przykładowe warunki zatrzymania nauki w SSN 1) Poprawna odpowiedź sieci dla wszystkich przykładów z ciągu uczącego 2) Błąd dla wszystkich przykładów z ciągu uczącego mniejszy od przyjętego progu 3) Określona liczba epok uczenia 4) Błąd średniokwadratowy RMS na akceptowalnie niskim poziomie 5) Minimalizacja ilości błędnych odpowiedzi sieci

Ciąg uczący oraz testowy Podział dostępnych danych na ciąg uczący i testowy ma duże znaczenie dla skuteczności SSN. Należy m.in. określić liczebność (lub wzajemne proporcje) oraz zdefiniować lokalizację przykładów uczących i testowych w całym zbiorze danych.

Ciąg uczący jest to zbiór przykładów uczących – danych, które powinny dokładnie charakteryzować rozwiązywany problem. W skład przykładu uczącego wchodzą dane wejściowe i oczekiwane wyjście, czyli odpowiedź jaka sieć powinna wygenerować na swoich wyjściach. Po przetworzeniu całego ciągu uczącego (epoka) oblicza się błąd dla epoki i cały cykl powtarzany jest do momentu, aż błąd ten spadnie poniżej dopuszczalnego.

Ciąg testowy służy do weryfikacji działania nauczonej sieci. Składa się z przykładów spoza zbioru uczącego w celu zbadania czy sieć może efektywnie generalizować problem, którego się nauczyła. Dla ciągu testowego znane są dokładne, pożądane odpowiedzi. Na podstawie błędów od oczekiwanych odpowiedzi weryfikuje się poprawność działania sieci.

Dobór architektury w sieciach wielowarstwowych Dobór dotyczy m.in. struktury sieci, funkcji aktywacji, algorytmu uczenia sieci, parametrów algorytmu uczenia i jest najczęściej wykonywany eksperymentalnie. Sieć powinna posiadać warstwę wejściową złożoną z neuronów odpowiadających ilością liczbie zmiennych objaśniających i warstwę wyjściową złożoną z neuronów odpowiadających ilością liczbie zmiennych objaśnianych. Problem struktury sieci dotyczy ilości warstw ukrytych i ilości neuronów na każdej z tych warstw. Najczęściej wystarcza sieć trzywarstwowa (z jedną warstwą ukrytą). Wielowarstwowa sieć jednokierunkowa z tylko jedną warstwą ukrytą może aproksymować z zadaną dokładnością dowolną funkcję ciągłą. Nie oznacza to, że jest to rozwiązanie optymalne pod względem długości czasu uczenia się sieci.

Dobór architektury – problemy uczenia Sieć dobrze uogólnia, gdy wykryty w trakcie uczenia związek między danymi wejściowymi a wyjściem jest poprawny dla danych nie pokazywanych podczas uczenia sieci (dla ciągu testowego). Przy projektowaniu sieci bardzo ważna jest również ilość składników w warstwie ukrytej sieci. Mogą wystąpić dwie sytuacje: a) Overfitting (przeuczenie) występuje wtedy, gdy zaprojektujemy zbyt dużo neuronów w warstwie ukrytej. Sieć precyzyjnie dobiera wagi aby skutecznie reagować na przykłady uczące, natomiast dla wektorów testowych generuje błędne odpowiedzi. b) Underfitting (niedouczenie) występuje wtedy, gdy sieć posiada zbyt mało neuronów w warstwie ukrytej. Efektem tego jest utrzymywanie się wartości błędu na stałym niedopuszczalnym poziomie, pomimo długiego uczenia się danej sieci.

Klasyfikacje sieci neuronowych Ze względu na topologię: a) rekurencyjne – ze sprzężeniami zwrotnym b)jednokierunkowe – dane przepływają w jednym kierunku bez sprzężeń Ze względu na sposób uczenia: a) uczenie bez nadzoru b) uczenie z nadzorem Ze względu na funkcję przejścia: a) liniowe b) nieliniowe

Sieci Kohonena to sieci samoorganizujące się (SOM – ang. Self Organizing Maps). Pojęcia związane z sieciami Kohonena: a) Uczenie nienadzorowane b) Rywalizacja neuronów c) sąsiedztwo. # Budowa: a) Sieć ma dwie warstwy o rozdzielonych funkcjach, uporządkowane neurony wyjściowe b) Uczony głównie neuron „zwycięski” # Najważniejsze cechy: a) Zdolność do klasyfikacji b) Zdolność do zachowywania topologii odwzorowywania.

Sieci samoorganizujące się Uczenie odbywa się metodą samoorganizującą typu konkurencyjnego. Polega ona na podawaniu na wejścia sieci sygnałów, a następnie wybraniu w drodze konkurencji zwycięskiego neuronu, który najlepiej odpowiada wektorowi wejściowemu. Dokładny schemat konkurencji i późniejszej modyfikacji wag synaptycznych może mieć różną postać. Wyróżnia się wiele podtypów sieci opartych na konkurencji, które różnią się dokładnym algorytmem samoorganizacji. W SOM-ach oblicza się odległości wszystkich neuronów od sygnału wejściowego, następnie wyłania się zwycięzcę i modyfikuje się jego wagi i jego sąsiadów – stąd istotny jest graf sąsiedztwa, który utworzyć ma mapę topologiczną sieci. W wyniku, SOM-y „rozpinają się” wokół danych wejściowych, dopasowując swoją strukturę do ich struktury. Sieć Kohonena posiada tylko dwie warstwy: warstwę wejściową oraz warstwę wyjściową tworząca mapę topologiczną .

Uczenie konkurencyjne 1) WTA (ang. Winner Takes All) – zwycięzca bierze wszystko : uczy się tylko neuron zwycięski 2) WTM (ang. Winner Takes More) – zwycięzca bierze większość a) uczy się neuron zwycięski i jego sąsiedzi b) stosowana jest funkcja sąsiedztwa, Topologię sieci można w łatwy sposób określić poprzez zdefiniowanie sąsiadów dla każdego neuronu. c) wokół neuronu zwycięzcy definiuje się topologiczne sąsiedztwo Si, o określonym promieniu. Adaptacji podlegają wtedy wagi neuronu zwycięzcy i wszystkich należących do jego sąsiedztwa.

Algorytm uczenia w sieciach Kohonena Przebieg podstawowego, iteracyjnego algorytmu uczenia w sieciach Kohonena: 1) wszystkie neurony sieci wyznaczają swoje sygnały wyjściowe, stanowiące odpowiedź na podane wejścia; 2) wybierany jest neuron zwycięski 3) neuron zwycięski modyfikowany jest w taki sposób, aby upodobnić jego wzorzec do prezentowanego przypadku. a) WTM: wraz ze zwycięskim neuronem w podobny sposób modyfikowane są parametry jego sąsiadów b) WTA: modyfikowany jest tylko neuron zwycięski

Sieci SOM – uczenie bez nauczyciela W uczeniu bez nauczyciela pojawiają się wyłącznie przypadki obejmujące zmienne wejściowe. Uczenie bez nadzoru jest możliwe tylko wtedy, gdy istnieje powtarzalność wśród danych wejściowych, inaczej dane były by nie do odróżnienia od przypadkowego szumu. Sieć próbuje nauczyć się struktury danych - może się nauczyć na przykład rozpoznawania skupień występujących w wejściowych danych i może równocześnie nauczyć się kojarzyć razem podobne klasy danych, zastosowanie: eksploracyjna analiza danych, klasyfikacja, wykrywanie nowości (jeśli na wejściu sieci pojawią się nowe dane, niepodobne do poprzednio rozważanych przypadków, sieci nie uda się ich rozpoznać, co oznaczać będzie sygnał ostrzegawczy, że są one odmienne od wszystkich znanych do tej pory klas). Wagi każdego z neuronów zmieniają się zgodnie z zasadą: a) neurony, które silnie zareagowały na sygnał wejściowy, zostają nauczone tak, aby reagować na ten sygnał jeszcze silniej; b) neurony, które zareagowały słabo, nie są uczone; c) neurony, które zareagowały silną odpowiedzią ujemną, są uczone tak, aby jeszcze bardziej zdecydowanie odrzucały ten sygnał.