1. Co to jest sieć neuronowa - jest to system symulujący pracę mózgu. Mózg składa się z komórek nerwowych zwanych neuronami. Pomiędzy nimi znajdują się cieniutkie połączenia - tzw. aksony. W powiększeniu fragment mózgu wygląda jak drobna sieć, której węzłami są neurony. Sieć neuronowa służy do wszelkiego rodzaju rozpoznawania, kojarzenia, przewidywania, sterowania.

2. Co to jest funkcja aktywująca - funkcja aktywująca jest podstawowym parametrem kształtującym charakterystykę neuronu. Funkcja ta wpływa nie tylko na ustalenie poziomu wyzwalania neuronu, ale także na zakres wartości uzyskiwanych na jego wyjściu.

Ze względu na charakter funkcji aktywacji można wyróżnić dwa zasadnicze typy neuronów:

- neurony liniowe ( z liniową funkcją aktywacji)

- neurony nieliniowe (z nieliniową funkcją aktywacji)

W wypadku naturalnego neuronu funkcja aktywacji ma postać nieliniową.

3. Co to jest pojemność sieci - pojemność sieci jest to parametr sieci, który oznacza liczbę wzorców możliwych do zapamiętania. Jest on zależny od liczności neuronów w pierwszej warstwie. P_max=2n, gdzie n - liczba neuronów w warstwie wejściowej.

Jest to jedynie liczba teoretycznie największa, jednak w praktycznych realizacjach pojemność perceptronu jest znacznie mniejsza, co ma bezpośredni związek z cechami rozwiązywanego zadania, zawartością ciągu uczącego oraz zastosowanym algorytmem uczenia.

4. Co to jest epoka uczenia - Jednokrotne powtórzenie iteracyjnej procedury uczenia sieci neuronowej, w trakcie której, sieci prezentowane są wszystkie przypadki uczące. Po zrealizowaniu epoki przeprowadza się zwykle ocenę sieci, przy pomocy zbioru walidacyjnego.

5. Co to jest uczenie się sieci, ciąg uczący

Uczenie sieci (przekazywanie wiedzy) jest na ogół czynnością wieloetapową i polega na zmianie wartości wag neuronów sieci. Wykorzystywane są w nim tak zwane ciągi uczące. Zawierają one założone sygnały wejściowe i wymagane odpowiedzi sieci na te sygnały. Uczenie polega na takiej zmianie wag synaptycznych sieci, aby sygnały wyjściowe dla wymuszeń zawartych w ciągu uczącym odpowiadały dokładnie sygnałom wymaganym .

Struktura ciągu uczącego dla pojedynczego neuronu jest ściśle zależna od jego budowy oraz metody uczenia.

W trakcie uczenia sieci bywa używany tak zwany ciąg walidacyjny. Jest to rodzaj ciągu testującego, używany doraźnie. Stosowany jest do „szybkiego” sprawdzenia stopnia nauczenia sieci.

Do sprawdzenia jakości nauczenia sieci używany jest ciąg testujący. Zawiera on także związane ze sobą sygnały wejściowe i oczekiwane odpowiedzi na nie. Różnica w stosunku do ciągu uczącego polega na tym, że sieć nie jest „uczona” ciągu testującego, a ma się wykazać zdolnością realizacji zadań wcześniej sobie nie znanych.

6. siec neuronowa i f-cja aktywująca w jęz ang

Neural Network, Activation Function

7. Narysować neuron/siec neuronowa i opisać Budowa sieci neuronowej - sieć neuronowa składa się z neuronów. Neuron to w oryginale - komórka nerwowa. W sieci neuronowej - podstawowy jej składnik.

• Jądro - "centrum obliczeniowe" neuronu. To tutaj zachodzą procesy kluczowe dla funkcjonowania neuronu.

• Akson - "wyjście" neuronu. Za jego pośrednictwem neuron powiadamia świat zewnętrzny o swojej reakcji na dane wejściowe. Neuron ma tylko jeden akson.

• Wzgórek aksonu - stąd wysyłany jest sygnał wyjściowy, który wędruje dalej poprzez akson.

• Dendryt - "wejście" neuronu. Tędy trafiają do jądra sygnały mające być w nim później poddane obróbce. Dendrytów może być wiele - biologiczne neurony mają ich tysiące.

• Synapsa - jeśli dendryt jest wejściem neuronu, to synapsa jest jego furtką. Może ona zmienić moc sygnału napływającego poprzez dendryt.

Model neuronu składa się z dokładnie tych samych elementów, które wyżej wymieniono.

Wejścia to dendryty, lub ściślej: sygnały przez nie nadchodzące- sygnały wejściowe.

Sygnał wejściowy - sygnał trafiający na wejście neuronu (sieci).

Wagi to cyfrowe odpowiedniki modyfikacji dokonywanych na sygnałach przez synapsy. Waga to wartość, przez którą mnoży się odpowiedni sygnał wejściowy neuronu.

Blok sumujący to odpowiednik jądra. Część neuronu, w której obliczana jest suma jego ważonych wejść.

Blok aktywacji to wzgórek aksonu. Część neuronu, w której potencjał membranowy jest przekształcany w sygnał wyjściowy za pomocą funkcji aktywacji.

Funkcja aktywacji - funkcja, według której potencjał membranowy neuronu jest przekształcany w jego sygnał wyjściowy.

Wyjście - to akson.

Sygnał wyjściowy - sygnał wychodzący z bloku aktywacji neuronu. Wyjście sieci - połączone wyjścia neuronów ostatniej warstwy wyjściowej.

8. Jakie są sposoby uczenia

• Uczenie z nauczycielem

• Uczenie bez nauczyciela

9. Wymienić inne sieci jakie znamy

1.Counter Propagation (CP), 2. komórkowa (CNN),

3. Hamminga,4.Hopfielda 5.Rezonansowa (ART)

6.Sieć Hintona, 7.Sieć Kohonena

10. Rodzaje sieci

Jednowarstwowe sieci jednokierunkowe -

sieć jednowarstwowa jest bardziej złożoną strukturą niż pojedynczy neuron. Złożoność ta skutkuje większą możliwością realizacji zadań. Wśród jednowarstwowych sieci jednokierunkowych wyróżnia się sieci o liniowej i nieliniowej funkcji aktywacji. Te drugie nazywamy preceptorami. Perceptron - sieć jednokierunkowa złożona z neuronów o nieliniowej (unipolarnej lub bipolarnej) funkcji aktywacji, sygnał przebiega w jednym kierunku od wejścia sieci do jej wyjścia.

Struktura jednowarst. sieci jednok. - Składa się z pojedynczych neuronów, tworzących warstwę. Każdy z neuronów jest identyczny (ten sam model). Sieć nie zawiera żadnych dodatkowych połączeń między neuronami oraz między wejściami neuronów a ich wyjściami.

Uczenie jednowarst. sieci jednok. - Ideą uczenia sieci jest prezentowanie (podawanie na wejście sieci) kolejnych elementów ciągu uczącego i porównywanie odpowiedzi sieci z oczekiwanym stanem na jej wyjściu. Ciąg uczący jest zbiorem par uczących. Para ucząca - składa się z sygnału (obrazu) i oczekiwanej odpowiedzi sieci.

Uczenie warstwy neuronów polega na zmianie wartości wag macierzy. Następnie uogólniamy ten algorytm dla neuronów o funkcji nieliniowej. Algorytm ten, który jest algorytmem iteracyjnym, nazwany został regułą delta. Do realizacji algorytmu niezbędny jest ciąg uczący, zaliczany do grupy algorytmów uczenia z nauczycielem. Punktem wyjścia algorytmu jest wyznaczenie wartości sumarycznego błędu na wyjściu sieci.

Problem uczenia sieci można określić jako problem minimalizacji błędu, do której można wykorzystać np. gradientową metodę największego spadku.

Wielowarstwowe sieci jednokierunkowe.

Sieć wielowarstwowa jest najbardziej złożoną strukturą sieci jednokierunkowych. Omówiono na podstawie perceptronu wielowarstwowego.

Struktura perceptronu wielowarstwowego.

Dodanie do opisanych powyżej struktury sieci kolejnych warstw spowoduje utworzenie sieci wielowarstwowej - perceptronu wielowarstwowego.

Perceptron wielowarstwowy - jednokierunkowa sieć wielowarstwowa o nieliniowej funkcji aktywacji.

Kolejne warstwy mogą być połączone ze sobą na zasadzie „każdy z każdym” - dotyczy to jednak warstw ze sobą bezpośrednio sąsiadujących. Warstwa pierwsza jest nazywana warstwą wejściową, a ostatnia wyjściową. Jeżeli sieć ma więcej niż dwie warstwy, to wszystkie oprócz pierwszej i ostatniej, nazywane są ukrytymi. Sieć składa się z identycznych neuronów o nieliniowej aktywacji w postaci funkcji logistycznej.

Uczenie perceptronu wielowarstwowego - algorytm zamiany wartości wag oraz ciąg uczący jest analogiczny dla perceptronu prostego. Jednym istotnym problemem jest wyznaczenie błędu sieci na wyjściach warstwy wejściowej i warstw ukrytych (wartości żądane dla tych warstw nie są zawsze w ciągu uczącym). Dla tych warstw brak jest w ciągu uczącym informacji o żądanej wartości „z”. Problem ten można rozwiązać stosując algorytm wstecznej propagacji, który jest jednym z najbardziej skutecznych algorytmów wykorzystywanych do uczenia jednokierunkowych sieci wielowarstwowych.

---