img168 (9)

162 uczenia sieci neuronowych

Zbyt duża wartość współczynnika uczenia jest jednak także niekorzystna, gdyż pojawiają się wtedy znamiona destabilizacji procesu uczenia, co dobitnie ilustruje rysunek 8.32. Sposobem na wygaszenie oscylacji sieci, występujących zawsze, gdy współczynnik uczenia wzrośnie nadmiernie, jest wprowadzenie większej wartości momentum. Mógłbyś więc, gdy zechcesz, przebadać wpływ zmian wartości współczynnika momentum na uczenie sieci, a także będziesz mógł prześledzić stabilizujący wpływ parametru momentum, gdy zdarzy się, że proces uczenia wymknie się spod kontroli.

*	mm W	•
	d			■ si/

Rys. 8.32. Nadmierna wartość współczynnika uczenia powoduje, że proces uczenia cechują oscylacje - sieć na przemian zbliża się do pożądanego rozwiązania i od niego ucieka

Innym obszarem bardzo ciekawych badań jest kwestia wpływu struktury sieci na jej zachowanie. W tym celu musisz wybrać jakieś naprawdę skomplikowane zadanie. Niezłe jest do tego celu zadanie pokazane na rysunkach 8.1 i 8.2. Komplikacja tego zadania polega na konieczności “wpasowania” się sieci w wąskie i ciasne “zatoki” tworzone przez błękitny obszar negatywnych decyzji. Każda taka szczelina wymaga od sieci bardzo precyzyjnego doboru jej elementów do charakterystycznych cech rozważanego zadania i sprawia naprawdę duże trudności. Dlatego prosta sieć dwuwarstwowa nie ma tu żadnych szans - choćbyś ją nie wiem jak długo uczył, zawsze będzie miała tendencje do upraszczania kształtu rozpoznawanych obszarów (rys. 8.33).

Natomiast sieć trójwarstwowa potrafi wydobyć wszystkie subtelności rozważanego zadania ( rys. 8.34), chociaż niekiedy trudniej jest uzyskać stabilny przebieg procesu jej uczenia, bo sieć - będąc nawet bardzo blisko poprawnego rozwiązania, “ucieka” od niego pod wpływem wstecznej propagacji błędów i “myszkuje” nie znajdując w efekcie wcale poprawnego rozwiązania (rys. 8.35).