img032 (51)

26

bardzo wielu połączonych ze sobą elementów (całej sieci, a nie pojedynczych neuronów), w związku z czym uzasadniona jest spotykana niekiedy nazwa MPP (Massive Parallel Processing), jaką wiąże się z całą tą dziedziną informatyki.

Zainteresujmy się na chwilę funkcjonowaniem całej sieci neuronowej. Jak wynika z przytoczonych wyżej uwag, zarówno program działania oraz informacje stanowiące bazę wiedzy, a także dane na których wykonuje się obliczenia, jak i sam proces obliczania - są w sieci całkowicie rozproszone. Nie da się wskazać miejsca, w którym zgromadzona jest w niej taka lub inna konkretna informacja (chociaż sieci bywają wykorzystywane jako pamięci, zwłaszcza tzw. pamięci skojarzeniowe i bardzo dobrze spełniają swoje zadania), podobnie jak niemożliwe jest zlokalizowanie w określonym miejscu sieci jakiegoś wydzielonego fragmentu wykonywanego algorytmu (na przykład wskazanie, które elementy sieci odpowiedzialne są za wstępne przetwarzanie i analizę wprowadzanych danych, a które dostarczają końcowego rozwiązania podawanego przez sieć. Sieć działa zawsze jako całość i wszystkie jej elementy mają swój wkład w realizację wszystkich czynności, które sieć realizuje - podobnie, jak się to dzieje przy odtwarzaniu hologramu, gdzie z każdego kawałka rozbitej płyty fotograficznej można odtworzyć cały obraz sfotografowanego (sholografowanego?) przedmiotu. Jedną z konsekwencji takiego działania sieci jest jej niewiarygodna zdolność do poprawnego działania nawet po uszkodzeniu znacznej części wchodzących w jej skład elementów.

Jak już wiesz, z neuronów o omówionych wyżej własnościach tworzona jest sieć. Struktura sieci powstaje w ten sposób, że wyjścia jednych neuronów łączy się (według wybranego schematu) z wejściami innych, tworząc łącznie system zdolny do równoległego, w pełni współbieżnego przetwarzania różnych informacji. Oczywiście konkretna topologia sieci, to znaczy liczba wybranych procesorów i sposób ich połączenia, powinny wynikać z rodzaju zadania, jakie zamierzamy sieci postawić, jednak nie jest to wcale tak jednoznaczne, jak by się mogło wydawać. W bogatej literaturze dotyczącej sieci znaleźć bowiem można prace, w których wykazano, że w istocie decyzje dotyczące struktury sieci wpływają na jej zachowanie znacznie słabiej, niż by można było oczekiwać. To paradoksalne stwierdzenie wynika z faktu, że zachowanie sieci w zasadniczy sposób determinowane jest przez proces jej uczenia, a nie przez strukturę czy liczbę użytych do jej budowy elementów. Oznacza to, że sieć mająca zdecydowanie gorszą strukturę może znacznie skuteczniej rozwiązywać postawione zadania (gdy zostanie dobrze nauczona), niż sieć o optymalnie dobranej strukturze, ale źle trenowana. Znane są doświadczenia, w których strukturę sieci wybierano całkowicie przypadkową (ustalając na drodze losowania,