Sieci CP str062

62

4.7. Dobór parametrów uczenia sieci

i przesyła swoje sygnały do neuronów wyjściowych (wtedy jego błąd może być wyznaczony wyżej podaną metodą) albo znajdoje się w jednej z głębiej ukrytych warstw, podając sygnały do neuronów innych warstw ukrytych — wtedy jego błąd można oszacować z chwilą obliczenia błędów w neuronach będących odbiorcami jego sygnałów. W sumie jednak w sieci feedforward zawsze da się wyznaczyć taką kolejność wstecznej propagacji błędów, która pozwoli obliczyć błędy 6$ dla wszystkich elementów sieci, a tym samym pozwoli znaleźć wszystkie wartości    na podstawie wartości    i występujących w sieci sygnałów.

Doświadczenie wskazuje, że uczenie wykonywane t.ą metodą jest stosunkowo skuteczne, ale bardzo powolne. Jego przyspieszenie próbujemy uzyskać stosując opisane dla sieci MA-DALINE techniki momentum, kumulacji błędów, odrzucania małych poprawek itp. Wyniki bywają różne: w niektórych zadaniach udaje się przyspieszyć proces uczenia nawet kilkadziesiąt razy, w innych prowadzi to tło braku zbieżności.

4.7 Dobór parametrów uczenia sieci

Skoro litowa o zbieżności warto dodać jedną uwagę. Bardzo ważne jest właściwe dobieranie współczynnika ij w taki sposób, by nie utracić możliwości precyzyjnego kontrolowania procesu uczenia. Większość danych litrat.urowych wskazuje na celowość stosowania większych wartości i] (i wszystkich pokrewnych współczynników, na przykład przy składniku memen-tum) na początku uczenia i zmniejszania ich w miarę, jak współczynniki wagowo zbliżają się do swoich ustalonych wartości. Jednak obok tej strategii dobre wyniki daje także strategia bardziej złożona, zakładająca bardzo małe wartości (i ewentualnie innych współczynników) na początku procesu uczenia, zwiększane polem do pewnych wartości znamionowych w momencie kiedy proces uczenia jest. już zaawansowany, a następnie już w klasyczny sposób zmniejszane stopniowo w końcowym okresie liczenia. Tego typu postępowanie jest uzasadnione faktem, że w pierwszych krokacli procesu uczenia następuje wstępna preorientacja neuronów, których wagi, początkowo ustawione losowo i na ogól bliskie zera, zostają z wolna spolaryzowane w kierunku pobudzających lub hamujących połączeń o decydującym znaczeniu dla dalszego toku procesu uczenia. W trakcie tego subtelnego wybierania początkowych odcinków trajektorii wiodących do ostatecznego rozpoznania bardzo łatwo o pomyłki, będące wynikiem przypadkowego składu obiektów ciągu uczącego, zaś korekta tych pomyłek jest łatwiejsza, jeśli proces uczenia będzie początkowo przebiegał w tempie celowo zwolnionym. Potem uczenie może nabrać szybkości, by ponownie zwolnić pod koniec procesu, gdy konieczne są już tylko kosmetyczne korekty ustalanych wektorów wag.

W literaturze jest mnóstwo opisów udanych eksperymentów uzyskania poprawnego działania nauczonej sieci po zastosowaniu algorytmu bnckpropiigation. Tytułem przykładu wspomnijmy o badaniach prowadzonych przez Gale L. Martina i Jamensa A. Pittrnana opisanych w pracy (Mart9J). W pracy tej rozpoznawano ręcznie pisane znaki (litery i cyfry) mające znormalizowane rozmiary 15 x 24 piksele (o skali szarości zmienianej w sposób ciągły na odcinku [0,1]) posługując się zbiorem uczącym liczącym 35 200 cyfr i 6 300 liter pisanych przez 110 ludzi. Zbiory testowe tworzyło odpowiednio 4 000 cyfr i 2 36# liter. Test. rozpoznawania zniekształconych (procesem wprowadzania do komputera) znaków przez ludzi wykazał, że popełniali oni średnio 3,4% błędów podczas rozpoznawania. Nauczona sieć popełniała około¹. 3% błędów, co można uznać za bardzo dobry wynik. Podczas uczenia korzystano z

1

Wielkość błędu popełnianego przez sieć zależy od tego, ery sygnały wyjściowej warxtwy sieci traktuje się jako jednoznaczne wskazania ocIjMiwietlnicli obrazów, czy l«-ż dopuszcza się brak odpowiedzi (gdy wielkość