img121 (12)

7

Backpropagation

7.1. Co to jest backpropagation?

W poprzednim rozdziale rozważaliśmy wybrane aspekty funkcjonowania oraz uczenia jednowarstwowej sieci neuronowej zbudowanej z elementów nieliniowych. Tutaj będziemy kontynuowali te rozważania, pokazując, jak mogą działać nieliniowe sieci wielowarstwowe. Sieci takie, jak już wiesz, mają istotnie większe i ciekawsze możliwości - co mogłeś sam stwierdzić, oglądając działanie programu 06D.BAS. Dzisiaj porozmawiamy o tym, jak takie sieci można wykorzystywać i uczyć.

Wiesz już, że będziemy budowali sieci wielowarstwowe z nieliniowych neuronów. Wiesz już także o tym, jak można uczyć nieliniowy neuron (przypomnij sobie program 06E.BAS). Nie wiesz jednak (a nawet jeśli o tym słyszałeś, to nie poczułeś tego pewnie jeszcze na własnej skórze!), że problemem podstawowym przy uczeniu takich wielowarstwowych sieci neuronowych zbudowanych z nieliniowych neuronów jest problem tak zwanych warstw ukrytych (rys. 7.1).

Rys. 7.1. Warstwy ukryte w wielowarstwowej sieci neuronowej.