img095

95

7.4. Sieci neuronowe

a ostatnią pochodną obliczymy jako

dQk _ dQ_t de\ _ dQ_t dij de^kx _ dQ_k dy de* _dvw - de^kx dvt^X) ~ ^dix dV„^(A) ~ 9x^k de* gyW'

Przy okazji warto zauważyć, że strategia uczenia w czasie prezentacji wszystkich zestawów sygnałów treningowych z*, k = 1,2, ..., N może być określonajako prosta zasada sumowania poprawek A    dla wszystkich

wartości k:

V„^(A) ₌ yO)(0) ₊ £ AK„<^a>⁽*>,

t=l

co jest naturalną konsekwencją wprowadzonej addytywnej postaci funkcji Q i wynikającej z niej oczywistej tożsamości:

dQ    dQ_k

WJ    av„^(A)'

Można udowodnić, że proces uczenia jest zbieżny, jeśli tylko stawiane zadanie przekształcenia sygnałów z„ w sygnały x\ jest wykonalne w klasie zadań realizowalnych przez sieci neuropodobne. Co więcej, można udowodnić, że właściwe wartości współczynników vJ^A* możliwe są do ustalenia po skończonej liczbie N pokazów (por. Dodatek 2). Opisany algorytm można jednak stosować jedynie w przypadku, kiedy i* jest sygnałem z wyjściowej warstwy sieci - gdyż tylko wówczas znany jest sygnał i*.

W przypadku rozważania sieci wielowarstwowych obecność warstw wewnętrznych (ukrytych) zmusza do modyfikacji algorytmu, ponieważ sygnały wejściowe większości neuronów są sygnałami wyjściowymi innych komórek, przeto w odpowiednich zapisach pojawią się sygnały i* zamiast z*, na przykład we wzorze określającym pobudzenie komórki:

Ą = £    + Vq^A)

i/=i

lub w stale aktualnym wzorze opisującym podstawową regułę uczenia komórek sieci (także wielowarstwowej):