Pytania z pierwszego kolokwium w dniu 26.11.2008r
1. Proszę zaproponować treść hasła "Sieci Neuronowe" do leksykonu dla uczniów szkół licealnych.

Sztuczne sieci inspirowane pracą mózgu. Sieć składa się z z kilku warst: wejściowej, wyjściowej i ukrytej. Zagadnienia sieci neuronowych zajmują się uczeniem i trenowaniem sieci.
2. Zastosowanie sztucznych sieci neuronowych - obszary zastosowań, zalety, wady, ograniczenia.

Zastosowania tych sieci:

• diagnostyka układów elektronicznych

• prognozy giełdowe

• prognozowanie sprzedaży

• poszukiwania ropy naftowej

• interpretacja badań biologicznych

• prognozy cen

• analiza badań medycznych

• planowanie postępów w nauce

• selekcja celów śledztwa w kryminalistyce

• dobór pracowników

• sterowanie procesów przemysłowych.

• w programach do rozpoznawania pisma (OCR)

• do syntezy mowy.

Zalety:

• dużo mniejsza awaryjność niż zwykłego algorytmu

• zdolność do uogólniania zdobytej wiedzy

Wady:

• wyniki nie są jasne - są rozmyte

• brak umiejętności radzenia sobie z problemami wieloetapowymi

3. Algorytmy wykorzystujące sieci neuronowe, a algorytmy "klasyczne" w modelowaniu zjawisk i układów (podobieństwo, różnice, wady i zalety).
4. Metody uczenia sztucznych sieci neuronowych ( " z nauczycielem", "bez nauczyciela").

 Uczenie z nauczycielem

Uczenie z nauczycielem polega na tym, że sieci podaje się przykłady poprawnego działania, które powinna ona potem naśladować w swoim bieżącym działaniu (w czasie egzaminu). Przykład należy rozumieć w ten sposób, że nauczyciel podaje konkretne sygnały wejściowe i wyjściowe, pokazując, jaka jest wymagana odpowiedź sieci dla pewnej konfiguracji danych wejściowych. Mamy do czynienia z parą wartości - przykładowym sygnałem wejściowym i pożądanym (oczekiwanym) wyjściem, czyli wymaganą odpowiedzią sieci na ten sygnał wejściowy. Zbiór przykładów zgromadzonych w celu ich wykorzystaniu w procesie uczenia sieci nazywa się zwykle ciągiem uczącym. Zatem w typowym procesie uczenia sieć otrzymuje od nauczyciela ciąg uczący i na jego podstawie uczy się prawidłowego działania, stosując jedną z wielu znanych dziś strategii uczenia.

Uczenie bez nauczyciela

Obok opisanego wyżej schematu uczenia z nauczycielem występuje też szereg metod tak zwanego uczenia bez nauczyciela (albo samouczenia sieci). Metody te polegają na podawaniu na wejście sieci wyłącznie szeregu przykładowych danych wejściowych, bez podawania jakiejkolwiek informacji dotyczącej pożądanych czy chociażby tylko oczekiwanych sygnałów wyjściowych. Odpowiednio zaprojektowana sieć neuronowa potrafi wykorzystać same tylko obserwacje wejściowych sygnałów i zbudować na ich podstawie sensowny algorytm swojego działania - najczęściej polegający na tym, że automatycznie wykrywane są klasy powtarzających się  sygnałów wejściowych i sieć uczy się (spontanicznie, bez jawnego nauczania) rozpoznawać te typowe wzorce sygnałów.

Samouczenie jest też bardzo interesujące z punktu widzenia zastosowań, gdyż nie wymaga żadnej jawnie podawanej do sieci neuronowej zewnętrznej wiedzy , a sieć zgromadzi wszystkie potrzebne informacje i wiadomości.

5. Proszę opisać istotę algorytmu uczenia sieci jednokierunkowych, nieliniowych, wielowarstwowych (z metodą wstecznej propagacji błędów).

Uczenie sieci wielowarstwowej odbywa się zwykle z nauczycielem.

Sieci jednokierunkowe wielowarstwowe często wykorzystują nieliniową funkcję aktywacji typu sigmoidalnego lu tangens hiperpoliczny.

Algorytm wstecznej propagacji - BP (ang. BackPropagation) określa strategię doboru wag w sieci wielowarstwowej przy wykorzystaniu gradientowych metod optymalizacji. Podczas procesu uczenia sieci dokonuje się prezentacji pewnej ilości zestawów uczących (tzn. wektorów wejściowych oraz odpowiadających im wektorów sygnałów wzorcowych (wyjściowych)). Uczenie polega na takim doborze wag neuronów by w efekcie końcowym błąd popełniany przez sieć był mniejszy od zadanego. Nazwa "wsteczna propagacja" pochodzi od sposobu obliczania błędów w poszczególnych warstwach sieci. Najpierw obliczane są błędy w warstwie ostatniej (na podstawie sygnałów wyjściowych i wzorcowych. Błąd dla neuronów w dowolnej warstwie wcześniejszej obliczany jest jako pewna funkcja błędów neuronów warstwy poprzedzającej. Sygnał błędu rozprzestrzenia się od warstwy ostatniej, aż do warstwy wejściowej, a więc wstecz.

Korekcja wektora wag sieci oparta jest na minimalizacji funkcji miary błędu, która określona jest jako suma kwadratów błędów na wyjściach sieci:

L- numer warstwy ostatniej sieci

Pytania z drugiego kolokwium w dniu 21.01.2009r
1. Sieci rekurencyjne.

Mianem sieci rekurencyjnej określa się sieć, w której połączenia między neuronami stanowią graf z cyklami. Wśród różnorodności modeli rekurencyjnych sztucznych sieci neuronowych wyróżnić można:

• sieć Hopfielda - układ gęsto połączonych ze sobą neuronów (każdy z każdym, ale bez połączeń zwrotnych) realizującą dynamikę gwarantującą zbieżność do preferowanych wzorców

• maszyna Boltzmanna - modyfikacja ta pozwoliła na uczenie neuronów ukrytych i likwidację wzorców pasożytniczych kosztem zwiększenia czasu symulacji.

2. Sieci modularne.

3. Zastosowanie sieci neuronowych w układach sterowania.

---