img052

52

4.3. Właściwości nieliniowych sieci wielowarstwowych

Rozważając sześcian o jednostkowej długości boku (/ = 1) stwierdzamy oczywiście, że w każdej przestrzeni ma on jednostkową objętość (V, = 1), podczas gdy kula o promieniu r = 1 ma objętość malejącą do zera ze wzrostem n — oo. Jeśli więc rozważymy w n-wymiarowej przestrzeni sześcian z wpisaną weń kulą, to w miarę wzrostu wymiaru przestrzeni n kula będzie coraz słabiej wypełniać sześcian, zatem podobieństwo tych dwóch brył będzie coraz bardziej problematyczne. Do podobnego wniosku możemy dojść rozważając odległości punktów powierzchni obydwu brył od środka kuli wpisanej w sześcian. Wszystkie punkty sfery są oczy wiście jednakowo odlegle od jej środka (odległością jest. promień sfery r), natomiast narożniki sześcianu (których liczba w n-wymiarowej przestrzeni wynosi ’2ⁿ) są odlegle od środka sześcianu o \/v/'2, czyli ze wzrostem wymiaru przestrzeni n oddalają się coraz bardziej od środka sześcianu. Ponieważ równocześnie objętość sześcianu pozostaje stała, zatem n-wymiarowy hipersześcian przypominać musi jeża o coraz większej liczbie coraz bardziej smukłych „kolców” (wierzchołków) i o coraz mniejszym „korpusie” w centralnej części. Odbiega to bardzo od potocznych obiegowych wyobrażeń, lecz w przestrzeniach o dużej liczbie wymiarów ituieja nie jest najlepszym doradcą, a pewnych „oczywistych” stwierdzeń nie da się mechanicznie przenosić, gdyż można łatwo popełnić błąd. Na przykład płaszczyzny, których położenie w trójwymiarowej przestrzeni zwykle łatwo sobie wyborazić już w przestrzeni czlerowywrniarowej zachowują się osobliwie. Nie tylko mogą one być równolegle (tzn. nie mieć wspólnych punktów) lub przecinać się (tzn. mieć wspólną całą prostą, będącą krawędzią przecięcia), ale dodatkowo mogą inieć ze sobą dokładnie jeden wspólny punkt

—    co wymyka się wyobraźni, lecz jest bezspornym faktem^{1 2}. Podobnie tzw. kola wielkie wyznaczone na sferze (takie jak południki na globusie), które w przestrzeni trójwymiarowej muszą się zawsze przecinać (np. na biegunach) w przestrzeni czterowy mi arowej mogą być równolegle³.

Wspomniane wyżej paradoksy trzeba mieć. stale w pamięci usiłując angażować wyobraźnię w opis zjawisk zachodzących w n-wymiarowych przestrzeniach, z którymi mamy stale do czynienia w analizie i opisie sieci neuronowych. Dopóki elementy sieci są liniowe

—    intuicja może być użyteczna, gdyż zjawiska opisywane np. na płaszczyźnie mają swoją w miarę naturalną kontynuację w przestrzeni o większej liczbie wymiarów. Z chwilą wprowadzenia funkcji <p(c.) jako funkcji nieliniowej — trzeba podchodzić do intuicyjnych wywodów z daleko posuniętą ostrożnością. Niżej przedstawione rozważania będą uwzględniały to zalecenie.

4.3 Właściwości nieliniowych sieci wielowarstwowych

Przyjmując interpretację progowej funkcji tp(e) jako funkcji rozdzielającej przestrzeń wejściowych sygnałów X na obszar wyróżniony, w którym y = 1, oraz na resztę - -stwierdzić należy, że przy przyjęciu najczęściej rozważanej reguły scalania wejściowych sygnałów w postaci

n

e = ^2 Xi ( = 0

1

²Na przykład płaszczyzna xi — *2 ⁼ 0 i płaszczyzna = j-4 = U mają dokładnie jeden wspólny punkt

2

(r, = xi = 13 = x_Ą = 0).

3

Na przykład są równolegle (gdyż nie mają wspólnego punktu) koła wielkie dane równaniami *i + r? = 1 i *3 + x_t = 1.