��StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl WYKORZYSTANIE SZTUCZENJ INTELIGENCJI W PROGNOZOWANIU dr PaweB
Lula, Akademia Ekonomiczna w Krakowie Charakterystyka sieci neuronowych Sztuczny neuron W prezentowanym opracowaniu przez sztuczn
sie
neuronow
rozumiana b
dzie technika obliczeniowa wzorowana na strukturze i sposobie dziaB
ania ukB
ad�w nerwowych organizm�w |
ywych. Sztuczna sie
neuronowa jest zespoB
em poB

czonych ze sob
element�w przetwarzaj
cych (neuron�w). Sztuczny neuron (rys. 1) jest to model swojego rzeczywistego odpowiednika. Jego zasadniczym celem jest przetworzenie informacji wej[
ciowej (dostarczanej w postaci warto[
ci x1, x2, ..., xn) w warto[

wyj[
ciow
y. Przyjmuje si
, |
e zar�wno warto[
ci wprowadzane na wej[
cia neuronu, jak i uzyskiwana na jego wyj[
ciu warto[

wyj[
ciowa, maj
posta
liczb rzeczywistych. Z ka|
dym wej[
ciem neuronu zwi
zany jest wsp�B
czynnik zwany wag
. Wsp�B
czynniki wagowe neuronu s
podstawowymi parametrami wpB
ywaj
cymi na spos�b funkcjonowania sztucznej kom�rki nerwowej. Przetwarzanie informacji przez sztuczny neuron skB
ada si
z dw�ch etap�w. Pierwszym z nich jest agregacja danych wej[
ciowych, za[
drugim wyznaczenie warto[
ci wyj[
ciowej neuronu. Rys. 1. Schemat sztucznego neuronu. Agregacja danych wej[
ciowych ma na celu przetworzenie wektora wej[
ciowego x = (x1, x2, ..., xn) w pojedyncz
warto[

(zagregowan
warto[

wej[
ciow
). Na rezultat tej transformacji w zasadniczy spos�b wpB
ywaj
warto[
ci wag. Spo[
r�d wielu sposob�w agregacji najwi
ksz
popularno[
ci
cieszy si
wyznaczanie warto[
ci zagregowanej poprzez 3 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl zsumowanie iloczyn�w warto[
ci wej[
ciowych i odpowiadaj
cych im wag. W niekt�rych zastosowaniach stosowana jest inna formuB
a agregacji, prowadz
ca do obliczenia kwadratu odlegB
o[
ci Euklidesa pomi
dzy wektorem wej[
ciowym x i wektorem wag w. Neurony wyposa|
one w pierwszy rodzaj funkcji agreguj
cej nazywane s
neuronami liniowymi, za[
te, kt�re dokonuj
agregacji zgodnie z drug
z przedstawionych formuB
, nazywane s
neuronami radialnymi. Drugim etapem w funkcjonowaniu neuronu jest wyznaczenie jego warto[
ci wyj[
ciowej. Elementem odpowiedzialnym za wykonanie tej czynno[
ci jestfunkcja aktywacji. Jest to funkcja przeksztaB
caj
ca wyznaczon
wcze[
niej zagregowan
warto[

wej[
ciow
w warto[

wyj[
ciow
neuronu. Rys. 2. Wykresy przykB
adowych funkcji aktywacji neuronu. Najprostszym rodzajem funkcji aktywacji jest funkcja liniowa. Jej zastosowanie powoduje, |
e na wyj[
ciu neuronu pojawia si
zagregowana warto[

wej[
ciowa przemno|
ona przez pewien staB
y wsp�B
czynnik. Bardzo du|

popularno[
ci
ciesz
si
dwie funkcje aktywacji okre[
lane jako funkcje s-ksztaB
tne (z uwagi na posta
ich wykres�w). Pierwsz
z nich jest funkcja sigmoidalna o warto[
ciach z przedziaB
u od 0 do 1. Drug
funkcj
jest funkcja tangensoidalna, kt�rej wykres (r�wnie|
przypominaj
cy spB
aszczon
liter
"s") rozci
ga si
w zakresie od minus do plus jedno[
ci. W niekt�rych zastosowaniach stosowane s
gaussowskie funkcje aktywacji, kt�re generuj
maksymaln
warto[

wyj[
ciow
dla zerowej warto[
ci argumentu; za[
wraz ze zwi
kszaniem zagregowanej warto[
ci wej[
ciowej warto[

wyj[
ciowa tak funkcjonuj
cego neuronu maleje Gaussowskie funkcje aktywacji 4 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl stosowane s
najcz
[
ciej B

cznie z radialnymi funkcjami agreguj
cymi, za[
funkcji liniowej lub s-ksztaB
tnej towarzyszy zwykle liniowa formuB
a agregacji. Struktura i spos�b dziaB
ania sztucznej sieci neuronowej Sztuczna sie
neuronowa jest zespoB
em poB

czonych ze sob
neuron�w (rys. 3). Rys. 3. PrzykB
adowa sztuczna sie
neuronowa. Zwykle neurony wchodz
ce w skB
ad sieci tworz
warstwy, z kt�rych pierwsza nosi nazw
warstwy wej[
ciowej, ostatnia warstwy wyj[
ciowej, za[
wszystkie warstwy znajduj
ce si
pomi
dzy nimi okre[
lane s
jako warstwy ukryte. Warto[
ci wej[
ciowe sieci wprowadzane s
na wej[
cia neuron�w warstwy wej[
ciowej. Nast
pnie, poprzez istniej
ce poB

czenia, warto[
ci wyj[
ciowe neuron�w jednej warstwy przekazywane s
na wej[
cia element�w przetwarzaj
cych kolejnej warstwy. Warto[
ci uzyskane na wyj[
ciach neuron�w ostatniej warstwy s
jednocze[
nie warto[
ciami wyj[
ciowymi sieci. PrawidB
owo skonstruowana sie
neuronowa mo|
e sB
u|
y
do rozwi
zywania wielu typ�w zagadnieD
. Do najpopularniejszych zastosowaD
sieci nale|
y zaliczy
budowane przy ich wykorzystaniu modele rozwi
zuj
ce problemy regresyjne, klasyfikacyjne oraz prognostyczne. W problemach regresyjnych u|
ytkownik modelu neuronowego oczekuje, |
e posiadana przez niego sie
b
dzie w stanie opisywa
zale|
no[
ci pomi
dzy zmiennymi, przy czym zakB
ada si
, |
e zmienna obja[
niana (zmienne obja[
niane) maj
charakter ci
gB
y. W problemach klasyfikacyjnych sie
neuronowa stanowi narz
dzie umo|
liwiaj
ce zaklasyfikowanie badanych obiekt�w do wB
a[
ciwych klas. Je|
eli wzorce klas s
znane przed rozpocz
ciem badaD
, to rozwi
zywany problem okre[
lany jest mianem klasyfikacji wzorcowej, w przeciwnym przypadku rozwi
zywane zagadnienie jest przykB
adem problemu klasyfikacji bezwzorcowej. W problemach klasyfikacyjnych informacja wyj[
ciowa sieci zwykle ma posta
zmiennej nominalnej, kt�rej poszczeg�lne warto[
ci reprezentuj
klasy, do kt�rych przypisywane s
obiekty. W problemach prognostycznych celem stosowania modeli neuronowych jest wyznaczenie przyszB
ej warto[
ci szeregu czasowego. Sie
rozwi
zuj
ca zagadnienia tego typu korzysta z bie|

cych oraz przeszB
ych warto[
ci tego samego szeregu jak r�wnie|
z bie|

cych i przeszB
ych warto[
ci innych zmiennych. 5 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Spos�b funkcjonowania sieci neuronowej, gwarantuj
cy prawidB
owe rozwi
zywanie postawionych przed ni
problem�w, uzale|
niony jest od dw�ch podstawowych czynnik�w: �� warto[
ci wsp�B
czynnik�w wagowych neuron�w skB
adaj
cych si
na sie
, �� struktury sieci (topologii), kt�ra okre[
lana jest przez liczb
warstw, liczb
neuron�w w poszczeg�lnych warstwach, spos�b poB

czeD
(czy B

czony jest ka|
dy neuron jednej warstwy z ka|
dym neuronem warstwy nast
pnej, czy te|
B

czone s
tylko wybrane neurony, czy dozwolone s
poB

czenia pomi
dzy neuronami nie znajduj
cymi si
w s
siaduj
cych ze sob
warstwach), przyj
ty model neuronu (spos�b agregacji danych wej[
ciowych, rodzaj zastosowanej funkcji aktywacji). Proces maj
cy na celu okre[
lenie prawidB
owych warto[
ci parametr�w sieci (wag, struktury sieci) nazywany jest uczeniem sieci neuronowej. Uczenie sieci jest niezb
dnym elementem procesu konstrukcji modelu neuronowego. Proces uczenia realizowany jest przy wykorzystaniu dost
pnych zestaw�w danych, kt�re ilustruj
przebieg badanych zjawisk dla wybranych obiekt�w i/lub przeszB
ych okres�w czasu. W trakcie uczenia na wej[
cia sieci wprowadzane s
zgromadzone warto[
ci i obserwowane jest towarzysz
ce tej operacji zachowanie sieci. Je|
eli zachowanie sieci nie mo|
e zosta
uznane za w peB
ni poprawne, to przeprowadzana jest modyfikacja parametr�w sieci maj
ca na celu popraw
jej funkcjonowania. Spos�b przeprowadzenia modyfikacji okre[
lany jest przez zastosowany algorytm uczenia sieci. Istniej
dwa podstawowe sposoby przeprowadzania uczenia sieci. S
nimi uczenie z nauczycielem oraz uczenie bez nauczyciela. W przypadku uczenia z nauczycielem zbi�r ucz
cy zawiera zar�wno warto[
ci zmiennych wej[
ciowych jak i odpowiadaj
ce im warto[
ci zmiennej (lub zmiennych) wyj[
ciowych. Idea uczenia z nauczycielem przedstawiona zostaB
a na rys. 4. Po wprowadzeniu poprzez neurony wej[
ciowe warto[
ci zmiennych wej[
ciowych wyznaczana jest odpowiedz
sieci. Uzyskana w ten spos�b warto[

por�wnywana jest z rzeczywist
warto[
ci
przechowywan
w zbiorze ucz
cym. Je[
li por�wnywane warto[
ci nie s
r�wne, to parametry sieci (wagi) modyfikowane s
w taki spos�b, aby odpowiedz
sieci upodobniB
a si
do warto[
ci rzeczywistej. Rys. 4. Uczenie z nauczycielem. 6 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Tryb uczenia z nauczycielem stosowany jest przede wszystkim do konstrukcji sieci rozwi
zuj
cych problemy regresyjne, klasyfikacji wzorcowej oraz prognostyczne. Proces uczenia wymaga zwykle wielokrotnej prezentacji wzorc�w ucz
cych i odpowiadaj
cej im modyfikacji wag. Jednokrotna prezentacja wszystkich wzorc�w ucz
cych nazywana jest epok
uczenia. Osoba tworz
ca sie
ocenia przebieg uczenia obserwuj
c zmiany w warto[
ci bB

du uczenia (rys. 5), kt�ry okre[
la stopieD
niedopasowania warto[
ci rzeczywistych i teoretycznych w spos�b zagregowany dla caB
ego zbioru ucz
cego. Rys. 5. Wykres bB

du uczenia. Warto[
ci znajduj
ce si
na osi OX okre[
laj
kolejne epoki uczenia. Rysowana na wykresie krzywa prezentuje zmiany w warto[
ci bB

du. W trakcie poprawnej realizacji uczenia poziom bB

du powinien si
zmniejsza
. Stosuj
c uczenie bez nauczyciela (rys. 6) wykorzystuje si
zbi�r ucz
cy obejmuj
cy wyB

cznie warto[
ci zmiennych wej[
ciowych. W tym przypadku zbi�r ucz
cy nie zawiera |
adnych informacji na temat warto[
ci po|

danych na wyj[
ciach sieci. Celem uczenia jest osi
gni
cie przez sie
stanu r�wnowagi. Rys. 6. Uczenie bez nauczyciela. Uczenie bez nauczyciela wykorzystywane jest gB
�wnie przy tworzeniu modeli rozwi
zuj
cych zagadnienia klasyfikacji bezwzorcowej. W trakcie uczenia sie
musi rozpozna
struktur
zbioru danych i przypisa
poszczeg�lne przypadki do wB
a[
ciwych klas. Uczenie koD
czy si
w chwili, gdy w trakcie kolejnych prezentacji przypadk�w ucz
cych nie zachodz
zmiany w sposobie przyporz
dkowania obiekt�w do wB
a[
ciwych grup. Brak 7 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl w zbiorze ucz
cym informacji dotycz
cych rzeczywistych warto[
ci zmiennej wyj[
ciowej uniemo|
liwia wyznaczenie bB

du poprzez por�wnanie wyniku dziaB
ania sieci z odpowiedni
warto[
ci
pochodz
c
ze zbioru ucz
cego. Stosowana w tym przypadku definicja bB

du okre[
la w jakim stopniu zastosowana sie
jest w stanie opisa
struktur
zbioru ucz
cego (w tym celu por�wnuje si
wektory wej[
ciowe z odpowiadaj
cymi im wektorami wsp�B
czynnik�w wagowych). Przedstawiona charakterystyka stosowanych tryb�w uczenia sieci neuronowych wskazuje, |
e w zagadnieniach modelowania i prognozowania stosowane b
d
sieci konstruowane w trybie z nauczycielem, gdy|
stanowi
one dogodne narz
dzie opisu zale|
no[
ci pomi
dzy r�|
nymi zmiennymi lub pomi
dzy oddalonymi w czasie warto[
ciami tej samej zmiennej. Utworzenie prawidB
owo funkcjonuj
cego modelu wymaga zastosowania wB
a[
ciwie przygotowanej sieci. Niestety, wyznaczany w trakcie treningu bB

d uczenia nie mo|
e stanowi
podstawy do oceny sieci, gdy|
jego warto[

mo|
e zosta
sprowadzona do dowolnie niskiego poziomu poprzez rozbudow
cz
[
ci ukrytej sieci. Zwi
kszanie liczby neuron�w ukrytych ma r�wnie|
swoje wady - zwi
ksza liczb
parametr�w sieci szacowanych w czasie uczenia, co cz
sto w istotny spos�b wpB
ywa na czas treningu. Jednak|
e najpowa|
niejsz
konsekwencj
stosowania zbyt rozbudowanych struktur sieciowych jest mo|
liwo[

utraty przez sie
zdolno[
ci do generalizacji. Zdolno[

do generalizacji przejawia si
w posiadanej przez sie
umiej
tno[
ci wyznaczania prawidB
owych odpowiedzi dla takich danych wej[
ciowych, kt�re nie byB
y prezentowane w trakcie uczenia. Umiej
tno[

ta jest najwarto[
ciowsz
cech
sieci neuronowej. Znaczenie generalizacji ilustrowa
mo|
e zamieszczony przykB
ad numeryczny. ZaB
�|
my, |
e chcemy opisa
zale|
no[

zachodz
c
pomi
dzy zmienn
X1 i X2 przy pomocy sieci neuronowej. Podstaw
do przeprowadzenia uczenia sieci jest zbi�r ucz
cy skB
adaj
cy si
z przykB
adowych realizacji tej zale|
no[
ci (rys. 7). Rys. 7. PrzykB
adowy zestaw danych. Oczekujemy, |
e sie
skonstruowana na podstawie zbioru ucz
cego posiada
b
dzie zdolno[

do generalizacji, kt�ra przejawia
si
b
dzie w tym, |
e wyniki obliczone przez sie
b
d
poprawne nie tylko dla tych warto[
ci zmiennej X1, kt�re wyst
piB
y w zbiorze ucz
cym, ale r�wnie|
dla tych, kt�re nie byB
y wprowadzane na wej[
cia w trakcie uczenia (kt�re znajduj
si
pomi
dzy warto[
ciami reprezentowanymi w zbiorze ucz
cym). Rezultat dziaB
ania takiej sieci przedstawiono na rys. 8 w postaci linii ci
gB
ej. Wyraz
nie widoczna jest zdolno[

do generalizacji przejawiaj
ca si
generowaniem sensownych danych wyj[
ciowych dla warto[
ci X1 nie nale|

cych do zgromadzonego zestawu danych. 8 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Rys. 8. Model posiadaj
cy zdolno[

do generalizacji. Je|
eli w wyniku zbytniego zwi
kszenia liczby neuron�w ukrytych sie
utraci zdolno[

do generalizacji, to b
dzie ona prawidB
owo pracowa
po wprowadzeniu warto[
ci wej[
ciowych wyst
puj
cych w zbiorze ucz
cym, lecz b
dzie jednocze[
nie generowa
caB
kowicie bB

dne warto[
ci zmiennej X2 odpowiadaj
ce tym warto[
ciom X1, kt�re nie byB
y reprezentowane w zgromadzonym zbiorze danych. PrzykB
ad takiego dziaB
ania sieci przedstawia rys. 9. Rys. 9. Model nie posiadaj
cy zdolno[
ci do generalizacji. Post
puj
cy w trakcie uczenia sieci zanik zdolno[
ci do generalizacji nazywany jest przeuczeniem sieci. W przypadku wyst
pienia tego zjawiska kontynuacja uczenia prowadzi wprawdzie do zmniejszania si
bB

du sieci wyznaczonego na podstawie zbioru ucz
cego, ale towarzyszy temu coraz gorsze dziaB
anie sieci dla danych nie nale|

cych do zbioru ucz
cego (rys. 10). Rys. 10. Efekt przeuczenia sieci (linia dolna - bB

d dla zbioru ucz
cego, linia g�rna - bB

d dla danych nie uczestnicz
cych w procesie uczenia). 9 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Z uwagi na negatywny wpB
yw przeuczenia na funkcjonowanie sieci nale|
y wzbogaci
procedur
uczenia o mechanizm odpowiedzialny za wczesne wykrycie zaniku zdolno[
ci do generalizacji. SygnaB
y o przeuczeniu nie mog
by
generowane w oparciu o miary jako[
ci sieci wyznaczone na podstawie zbioru ucz
cego, gdy|
te wskazuj
w takiej sytuacji na coraz lepsze dopasowanie sieci do danych. Podstaw
do uzyskania informacji o przeuczeniu musz
by
mierniki wyznaczone na podstawie danych nie prezentowanych w trakcie uczenia. Aby umo|
liwi
takie dziaB
ania dost
pny zbi�r danych dzielony jest na trzy cz
[
ci: om�wiony ju|
zbi�r ucz
cy (prezentowany sieci w trakcie uczenia i sB
u|

cy do modyfikacji warto[
ci parametr�w), zbi�r walidacyjny (pozwalaj
cy na monitorowanie procesu uczenia sieci) oraz zbi�r testowy (sB
u|

cy do przeprowadzenia ostatecznej oceny uzyskanej sieci). Mechanizm wykrywaj
cy przeuczenie sieci korzysta ze zbioru walidacyjnego. Po zakoD
czeniu ka|
dej epoki uczenia wyznaczany jest bB

d sieci na podstawie przypadk�w wchodz
cych w skB
ad tego zbioru. Nie s
one prezentowane w trakcie uczenia i nie wpB
ywaj
na modyfikacj
wag i dzi
ki temu pozwalaj
na ocen
posiadanej przez sie
zdolno[
ci do generalizacji. O przeuczeniu sieci mo|
emy m�wi
w�wczas, gdy bB

d wyznaczony na podstawie zbioru ucz
cego zmniejsza si
w kolejnych epokach, za[
bB

d walidacyjny w pocz
tkowej fazie uczenia maleje, ale nast
pnie zaczyna zwi
ksza
swoj
warto[

. Zwi
kszanie si
warto[
ci bB

du walidacyjnego [
wiadczy o zbytnim dopasowywaniu si
sieci do punkt�w ucz
cych i o utracie zdolno[
ci do uog�lniania zdobytej wiedzy. Zaobserwowanie [
wiadcz
cego o przeuczeniu sieci wzrostu warto[
ci bB

du walidacyjnego mo|
e stanowi
sygnaB
do przerwania uczenia, modyfikacji struktury sieci polegaj
cej na zmniejszeniu liczby neuron�w ukrytych i ponownym zapocz
t-kowaniu treningu. W trakcie uczenia sieci o prawidB
owo dobranej strukturze warto[

bB

du uczenia i bB

du walidacyj-nego powinna zmniejsza
si
w kolejnych epokach. Poziom bB

du walidacyjnego jest zwykle nieznacznie wy|
szy od warto[
ci bB

du uczenia wyznaczonego w tej samej epoce. Je[
li oba bB

dy pozostaj
na wysokim poziomie, to mo|
e to wskazywa
na potrzeb
modyfikacji struktury sieci polegaj
cej na zwi
kszeniu liczby neuron�w ukrytych. Problem okre[
lania struktury nale|
y do najtrudniejszych zadaD
stoj
cych przed konstruktorem sieci. Jego prawidB
owe rozwi
zanie wymaga wiedzy i do[
wiadczenia. Cz
sto niezb
dne staje si
przeprowadzenie szeregu eksperyment�w badawczych. Bardzo pomocne s
w tym zakresie odpowiednio skonstruowane programy komputerowe, kt�re w oparciu o zaimplementowane heurystyki i przeprowadzone eksperymenty proponuj
wB
a[
ciw
struktur
sieci. Po przeprowadzeniu uczenia, w wyniku kt�rego bB

dy dla zbioru ucz
cego i walidacyjnego osi
gn
B
y akceptowalny przez u|
ytkownika poziom przeprowadza si
ponown
weryfikacj
modelu. Tym razem polega ona na obliczeniu miar dopasowania sieci do danych wchodz
cych w skB
ad zbioru testowego. Niski poziom wyznaczonego bB

du potwierdza poprawno[

dziaB
ania sieci, za[
uzyskanie wysokiej warto[
ci stanowi powa|
ny sygnaB
ostrzegawczy i mo|
e [
wiadczy
o potrzebie powt�rzenia procesu konstrukcji i uczenia sieci. 10 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Perceptrony wielowarstwowe Jednokierunkowe sieci wielowarstwowe (perceptrony wielowarstwowe, sieci MLP - MultiLayer Perceptrons) nale|

do najlepiej poznanych i najcz
[
ciej wykorzystywanych architektur sieciowych. Do podstawowych wB
asno[
ci jednokierunkowych sieci wielowarstwowych (rys. 11) nale|
y zaliczy
: �� posiadaj
architektur
warstwow
- wyr�|
nia si
warstw
wej[
ciow
, ukryte oraz wyj[
ciow
, �� poB

czenia umo|
liwiaj
komunikacj
pomi
dzy neuronami znajduj
cymi si
w s
siaduj
cych ze sob
warstwach, �� wszystkie neurony wchodz
ce w skB
ad sieci dokonuj
agregacji danych wej[
ciowych poprzez wyznaczenie sumy wa|
onych wej[

(czyli przy pomocy liniowej formuB
y agregacji), �� funkcja aktywacji neuron�w wej[
ciowych ma charakter liniowy, neuron�w ukrytych nieliniowy (najcz
[
ciej s-ksztaB
tny), za[
neuron�w wyj[
ciowych liniowy b
dz
nieliniowy, �� z uwagi na wyst
puj
cy w s-ksztaB
tnych funkcjach aktywacji poziom nasycenia dane przetwarzane przez sie
wymagaj
odpowiedniego przeskalowania. Rys. 11. PrzykB
adowy perceptron wielowarstwowy. Charakteryzuj
c proces uczenia perceptron�w wielowarstwowych, nale|
y zauwa|
y
, |
e: �� uczenie polega na pr�bie wyznaczenia minimum funkcji bB

du; zwykle stosuje si
techniki wyznaczania minimum oparte na gradiencie (metoda wstecznej propagacji bB

d�w i jej modyfikacje), hesjanie (metoda, Newtona, Levenberga-Marquardta) lub przybli|
eniu odwrotno[
ci hesjanu (metody quasi-Newtona) - wszystkie te metody nie s
odporne na zatrzymywanie si
w minimach lokalnych funkcji bB

du, �� stosowany jest tryb uczenia z nauczycielem (zbi�r ucz
cy zawiera przykB
adowe zestawy danych wej[
ciowych i odpowiadaj
cych im danych wyj[
ciowych), �� czas uczenia percetron�w wielowarstwowych jest dB
ugi w por�wnaniu z nakB
adami czasowymi niezb
dnymi do przeprowadzenia uczenia innych typ�w sieci, �� stosowanie w procesie uczenia globalnych metod optymalizacji jest mo|
liwe, lecz zazwyczaj nieefektywne. 11 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Modele oparte na jednokierunkowych sieciach wielowarstwowych maj
oszcz
dn
struktur
, co powoduje, |
e czas ich uruchamiania jest kr�tki i |
e wymagaj
niewielkich obszar�w pami
ci. Do podstawowych problem�w pojawiaj
cych si
w trakcie ich konstrukcji nale|
y zaliczy
dob�r wB
a[
ciwej struktury (liczba warstw i liczba neuron�w w warstwach ukrytych) oraz unikanie minim�w lokalnych funkcji bB

du w trakcie uczenia. Perceprony wielowarstwowe posiadaj
zdolno[

do ekstrapolacji, co w zale|
no[
ci od charakteru rozwi
zywanego problemu mo|
na uzna
za zalet
lub wad
. Sieci Kohonena Sie
zaproponowana przez T. Kohonena ma bardzo prost
struktur
(rys. 12). W skB
ad sieci tego typu wchodz
dwie warstwy neuron�w: warstwa wej[
ciowa i warstwa wyj[
ciowa. Wyst
puj
ce w sieci poB

czenia maj
charakter ka|
dy z ka|
dym. Sie
Kohonena charakteryzuje si
jednokierunkowym przepB
ywem informacji: od warstwy wej[
ciowej do warstwy wyj[
ciowej. Specyficzn
cech
sieci Kohonena jest zaproponowany przez jej tw�rc
spos�b uporz
dkowania neuron�w warstwy wyj[
ciowej. Zwykle nie s
one uporz
dkowane liniowo (jak w sieci perceptro-nowej), lecz rozlokowane s
w r�|
nych punktach dwuwymiarowej pB
aszczyzny. Najprostsze rozwi
zanie polega na umieszczeniu neuron�w w polach znajduj
cych si
na przeci
ciu kolejnych wierszy i kolumn wyznaczonych na pB
aszczyz
nie. Rysunek 13 przedstawia schemat warstwy wyj[
ciowej sieci Kohonena skB
adaj
cej si
z 64 neuron�w, rozmieszczonych na przeci
ciu o[
miu wierszy i o[
miu kolumn. Rys. 12. Sie
Kohonena. Rys. 13. Schemat warstwy wyj[
ciowej sieci Kohonena. 12 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Na spos�b uczenia i funkcjonowania sieci Kohonena w istotny spos�b wpB
ywa poj
cie s
siedztwa, kt�re odnosi si
do neuron�w warstwy wyj[
ciowej. S
siedztwo danego neuronu rozumiane jest jako zbi�r s
siaduj
cych z nim neuron�w. Podstawowym parametrem s
siedztwa jest jego promieD
. Wraz ze wzrostem jego warto[
ci zwi
ksza si
zasi
g s
siedztwa, a tym samym liczba neuron�w uznawanych za s
siad�w. Rysunek 14 prezentuje s
siedztwo neuronu znajduj
cego si
na przeci
ciu czwartego wiersza z trzeci
kolumn
(neuron ten zaznaczony jest ciemnym kolorem). Jego s
siedztwo o promieniu r�wnym jedno[
ci obejmuje neurony bezpo[
rednio z nim s
siaduj
ce (osiem neuron�w zaznaczonych ciemnoszarym kolorem). Natomiast s
siedztwo o promieniu r�wnym dwa obejmuje wszystkie neurony wchodz
ce w skB
ad s
siedztwa o promieniu 1 oraz wszystkie neurony s
siaduj
ce z neuronami tworz
cymi s
siedztwo o jednostkowym promieniu (na rysunku zostaB
y one zaznaczone jasnoszarym kolorem). W podobny spos�b mo|
na definiowa
s
siedztwa o wi
kszym promieniu. Natomiast w skB
ad s
siedztwa o promieniu r�wnym zero wchodzi tylko jeden neuron - ten, dla kt�rego wyznaczane jest to s
siedztwo (czyli tzw. neuron centralny). Rys. 14. Neuron centralny (zaciemniony obszar mapy) i jego s
siedztwa o promieniu r�wnym jeden (kolor ciemnoszary) i dwa (kolor jasnoszary). Ka|
dy neuron wyj[
ciowy posiada wektor wag, w kt�rym liczba element�w jest r�wna liczbie neuron�w wchodz
cych w skB
ad warstwy wej[
ciowej. W trakcie funkcjonowania sieci wektor warto[
ci wej[
ciowych (obejmuj
cy warto[
ci wyj[
ciowe neuron�w pierwszej warstwy) por�wny-wany jest z wektorem wag ka|
dego neuronu wyj[
ciowego. Por�wnanie to realizowane jest zwykle poprzez obliczenie kwadratu odlegB
o[
ci Euklidesa pomi
dzy wspomnianymi wektorami (funkcj
t
realizuje radialna funkcji agregacji). Neuron wyj[
ciowy, dla kt�rego tak zdefiniowany miernik przyjmuje warto[

najmniejsz
, posiada wagi najbardziej zbli|
one do wektora wej[
ciowego i okre[
lany jest jako neuron zwyci
ski. Uczenie sieci Kohonena odbywa si
bez nauczyciela. Podstaw
uczenia jest zbi�r ucz
cy, kt�rego ka|
dy element jest wektorem o liczbie element�w odpowiadaj
cej liczbie neuron�w w warstwie wej[
ciowej sieci. W pocz
tkowej fazie uczenia wagi przyjmuj
warto[
ci r�wne niewielkim liczbom losowym. Po prezentacji wzorca ucz
cego obliczana jest odlegB
o[

pomi
dzy warto[
ciami wej[
ciowymi a wagami kolejnych neuron�w warstwy wyj[
ciowej (odlegB
o[

ta najcz
[
ciej jest wyra|
ana przy pomocy formuB
y Euklidesa lub jako iloczyn skalarny wektora wej[
ciowego i wektora wag; w tym drugim przypadku 13 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl konieczne jest wcze[
niejsze unormowanie wektor�w wej[
ciowych). Warto[
ci te s
wzajemnie por�wnywane i wyznaczany jest neuron zwyci
ski, kt�rego wagi s
w najwi
kszym stopniu zbli|
one do wektora wej[
ciowego. Nast
pnie wagi neuronu zwyci
skiego s
modyfikowane w spos�b zapewniaj
cy jeszcze wi
ksze ich upodobnienie do wektora wej[
ciowego. Cech
charakterystyczn
sieci Kohonena jest to, |
e proces modyfikacji wag neuronu przeprowa-dzany jest nie tylko dla neuronu zwyci
skiego, ale r�wnie|
dla wszystkich neuron�w wchodz
cych w obr
b s
siedztwa zwyci
zcy. Proces uczenia prowadzi do utworzenia mapy topograficznej. Posiada ona zdolno[

odwzorowy-wania zale|
no[
ci zachodz
cych pomi
dzy obiektami - obiektom podobnym odpowiada ten sam obszar (neuron) na mapie lub obszary poB
o|
one blisko siebie. Obiekty znacznie r�|
ni
ce si
od siebie powoduj
uaktywnienie neuron�w znajduj
cych si
w odlegB
ych od siebie obszarach mapy. Cechy modeli neuronowych Sztuczne sieci neuronowe posiadaj
szereg cech, dzi
ki kt�rym mog
stanowi
przydatne narz
dzie modelowania i prognozowania szereg�w czasowych. O przydatno[
ci modeli neuronowych do badania rozwoju zjawisk w czasie decyduj
przede wszystkim nast
puj
ce fakty: 1. Zale|
no[
ci wyst
puj
ce w znacznej liczbie szereg�w czasowych maj
charakter nieliniowy, co stanowi podstawow
przesB
ank
do tego, aby do ich modelowania stosowa
modele nieliniowe. Jednym z narz
dzi speB
niaj
cych ten warunek s
jednokierunkowe sieci neuronowe. Posiadaj
one zdolno[
ci do aproksymacji dowolnych zale|
no[
ci nieliniowych jak r�wnie|
charakteryzuj
si
zdolno[
ciami generalizuj
cymi. 2. Proces budowy modelu neuronowego polega na eksploracji dost
pnych zbior�w danych i oszacowaniu na tej podstawie modelu opisuj
cego stwierdzone prawidB
owo[
ci. Stosowanie modeli tego typu nie wymaga znajomo[
ci postaci funkcji opisuj
cej istniej
c
prawidB
owo[

. W zwi
zku z tym modele neuronowe mog
znalez

zastosowanie wsz
dzie tam, gdzie nie jest znane dokB
adne prawo opisuj
ce ksztaB
towanie si
badanych zale|
no[
ci. Nie wyklucza to mo|
liwo[
ci stosowania sieci w przypadkach, gdy znana jest posta
formuB
matematycznych opisuj
cych badany aspekt rzeczywisto[
ci, ale w�wczas nakB
ady zwi
zane z oszacowaniem modelu sieciowego mog
by
wy|
sze ni|
nakB
ady niezb
dne do obliczenia parametr�w danego w postaci r�wnania prawa. 3. Modele neuronowe maj
charakter adaptacyjny. Mog
sB
u|
y
do opisu zale|
no[
ci zmieniaj
cych si
w czasie. W chwili pojawienia si
nowych danych przeprowadzony mo|
e zosta
proces douczenia sieci, co umo|
liwia uwzgl
dnienie w tworzonym modelu informacji zawartych w najnowszych obserwacjach. 4. Sie
neuronowa mo|
e by
traktowana nie tylko jako mechanizm opisuj
cy przebieg zjawiska i generuj
cy przyszB
e jego warto[
ci. Daje ona mo|
liwo[
ci przeprowadzania 14 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl wszechstronnej analizy badanego fragmentu rzeczywisto[
ci. Podstawowe informacje o systemie uzyska
mo|
na poprzez zastosowanieanalizy wra|
liwo[
ci modelu. Pozwala ona na przedstawienie charakteru zwi
zku pomi
dzy badan
wielko[
ci
a poszczeg�lnymi wpB
ywaj
cymi na ni
czynnikami. Istniej
ce metody analizy pozwalaj
przy wykorzystaniu modelu neuronowego dokB
adnie analizowa
zjawisko we wszelkich wybranych przez badacza ukB
adach. Stosowanie modeli neuronowych nie zawsze jest uzasadnione. Modele tego typu nie powinny by
stosowane wtedy, gdy: 1. badacz nie dysponuje odpowiedni
liczb
obserwacji mog
cych stanowi
podstaw
do oszacowania modelu. Szacowanie sieci posiadaj
cych stosunkowo du|

liczb
parametr�w na podstawie nielicznego zbioru ucz
cego prowadzi najcz
[
ciej do powstania modeli dopasowuj
cych si
do danych ucz
cych, ale nie posiadaj
cych zdolno[
ci do opisu og�lnych prawidB
owo[
ci istniej
cych w danych. 2. trudno znalez

uzasadnienie dla stosowania modeli neuronowych w sytuacji, w kt�rej znany jest charakter wyst
puj
cej prawidB
owo[
ci (np. znana jest posta
funkcji opisuj
cej analizowane zjawisko). W takim przypadku oszacowanie parametr�w funkcji poci
ga za sob
mniejsze nakB
ady i prowadzi do powstania modelu B
atwiejszego w interpretacji. Nawet w�wczas, gdy speB
nione s
warunki uzasadniaj
ce stosowanie modeli neuronowych nale|
y pami
ta
, |
e opr�cz zalet posiadaj
one r�wnie|
pewne sB
abe strony, mog
ce przyczynia
si
do powstawania problem�w na etapie budowy modelu. Do najistotniejszych minus�w sieci neuronowych nale|
y zaliczy
: 1. potrzeba odpowiedniego przygotowania danych - uzale|
niona od charakteru zmiennych i zastosowanego rodzaju sieci, 2. problemy zwi
zane z doborem wB
a[
ciwej struktury modelu neuronowego (rodzaj sieci, przyj
te modele neuronu, liczba neuron�w i spos�b ich poB

czenia), 3. konieczno[

wyboru wB
a[
ciwego algorytmu uczenia sieci, 4. wysokie nakB
ady czasowe zwi
zane z oszacowaniem modelu neuronowego, 5. brak (w wi
kszo[
ci przypadk�w) mo|
liwo[
ci bezpo[
redniej interpretacji poszczeg�lnych wsp�B
czynnik�w modelu neuronowego. Etapy budowy neuronowego modelu szeregu czasowego Proces budowy neuronowego modelu szeregu czasowego ma charakter wieloetapowy. SkB
ada si
z kilku nast
puj
cych po sobie etap�w, z kt�rych pierwszy obejmuje wst
pn
analiz
danych, kolejny polega na skonstruowaniu sieci neuronowej (lub kilku sieci neuronowych), za[
ostatni zwi
zany jest zocen
uzyskanego modelu. Wst
pna analiza danych (zwana r�wnie|
preprocessingiem) obejmuje te czynno[
ci, kt�re poprzedzaj
proces konstrukcji i uczenia sieci. Zakres wykonywanych operacji obejmuje 15 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl badanie poprawno[
ci i jednorodno[
ci danych, operacjonalizacj
danych, redukcj
zbioru zmiennych wej[
ciowych, dekompozycj
szeregu pierwotnego, zdefiniowanie sposobu reprezentacji danych jako[
ciowych oraz skalowanie danych. Proces konstrukcji sieci obejmuje prace zwi
zane z zaprojektowaniem struktury i uczeniem sieci opisuj
cej zale|
no[
ci w szeregu powstaB
ym w czasie wst
pnej analizy danych. Je|
eli na etapie preprocessingu przeprowadzono dekompozycj
danych, to nale|
y stworzy
oddzielne sieci do opisu zale|
no[
ci wyst
puj
cych we wszystkich wyodr
bnionych skB
adowych, oraz zdefiniowa
spos�b agregacji wynik�w dostarczanych przy pomocy tak skonstruowanych modeli cz
stkowych. Ostatnim etapem procesu konstrukcji modelu szeregu czasowego jest jego ocena. Ocena powinna obejmowa
zar�wno analiz
posiadanych przez model zdolno[
ci aproksymuj
cych jak i umiej
tno[
ci generalizacji zgromadzonej wiedzy. Zastosowany system miernik�w jako[
ci modelu powinien by
uzale|
niony od funkcji, jak
model ma speB
nia
. Wymienione powy|
ej zasadnicze etapy budowy neuronowego modelu szeregu czasowego czasami realizowane s
wi
cej ni|
jeden raz. Sytuacja taka ma miejsce w�wczas, gdy podj
ta pr�ba realizacji kolejnej fazy modelowania koD
czy si
niepowodzeniem. W�wczas nale|
y zwykle powt�rzy
(wszystkie lub tylko wybrane) wcze[
niej zrealizowane kroki analizy. Wst
pna analiza szereg�w czasowych Przed rozpocz
ciem budowy modelu szeregu czasowego i przed jego prognozowaniem zgromadzone dane poddawane s
analizie wst
pnej (ten etap prac okre[
lany jest r�wnie|
mianem preprocessingu). Wst
pna analiza danych obejmuje m.in.: �� badanie poprawno[
ci danych, �� ocen
jednorodno[
ci danych, �� przeksztaB
cenia danych (operacjonalizacja danych), �� redukcj
zbioru danych wej[
ciowych, �� dekompozycj
danych, �� przyj
cie sposobu reprezentacji danych jako[
ciowych, �� skalowanie danych. Wymienione etapy wst
pnej analizy danych b
d
tematem kolejnych punkt�w bie|

cego rozdziaB
u. Wyj
tkiem b
dzie zagadnienie redukcji zbioru danych wej[
ciowych, kt�re zostanie om�wione w punkcie po[
wi
conym algorytmom genetycznym. 16 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Badanie poprawno[
ci danych Stworzenie prawidB
owo funkcjonuj
cego modelu wymaga wykorzystania poprawnych danych. Realizowane na etapie preprocessingu badanie poprawno[
ci ma na celu identyfikacj
i wyeliminowanie warto[
ci bB

dnych. W wi
kszo[
ci przypadk�w peB
ne zagwarantowanie poprawno[
ci nie jest mo|
liwe, za[
przeprowadzenie procedury weryfikuj
cej ma na celu minimalizacj
prawdopodobieD
stwa wyst
pienia bB

d�w lub brak�w w danych. Najlepszym sposobem zwi
kszenia wiarygodno[
ci danych jest por�wnanie informacji pochodz
cych z kilku niezale|
nych z
r�deB
. Jednak|
e spos�b weryfikacji bazuj
cy na alternatywnym z
r�dle danych nie zawsze jest mo|
liwy do realizacji, a jego stosowanie zwi
zane jest zwykle ze znacznym zwi
kszeniem nakB
ad�w czasowych i finansowych. Ten spos�b weryfikacji nie gwarantuje r�wnie|
wykrycia bB

d�w powstaB
ych na etapie pomiaru danych. Du|
a cz
[

metod badania poprawno[
ci danych szczeg�ln
uwag
przywi
zuje do warto[
ci nietypowych, a wi
c tych, kt�re w znaczny spos�b odbiegaj
od warto[
ci charakterystycznych dla analizowanej zmiennej. Mechaniczne odrzucenie warto[
ci nietypowych nie musi by
poprawne, gdy|
w[
r�d nich mog
si
znalez

zar�wno warto[
ci bB

dne jak i anomalie, kt�re mimo swojej niezgodno[
ci z typowymi warto[
ciami s
zgodne z rzeczywisto[
ci
i wymagaj
specyficznego sposobu uj
cia w modelu. Do podstawowych metod identyfikacji warto[
ci nietypowych mo|
na zaliczy
: metody graficzne pozwalaj
ce na wizualn
ocen
szeregu, przeksztaB
cenia szeregu uB
atwiaj
ce wykrycie nietypowych zachowaD
(np. r�|
nicowanie), analiz
reguB
steruj
cych funkcjonowaniem systemu generuj
cego dane i podj
cie pr�by ich weryfikacji na podstawie dost
pnych obserwacji (np. sprawdzenie, czy kolejne ceny akcji s
zgodne z obowi
zuj
cymi reguB
ami okre[
laj
cymi maksymalne zmiany cen). Po wykryciu warto[
ci bB

dnych nale|
y podj

decyzj
dotycz
c
sposobu ich traktowania. Do najpopularniejszych mo|
liwo[
ci w tym zakresie nale|
y zaliczy
: zast
pienie bB

dnej warto[
ci warto[
ci
pochodz
c
z alternatywnego z
r�dB
a danych (jest najlepszy spos�b post
powania, ale nie zawsze mo|
liwy do realizacji), zast
pienie bB

dnej warto[
ci warto[
ci
oszacowan
(nale|
y pami
ta
, |
e warto[

oszacowana odbiega zwykle od warto[
ci rzeczywistej) oraz pomini
cie warto[
ci bB

dnej (w przypadku szereg�w czasowych takie post
powanie nie zawsze jest mo|
liwe, gdy|
usuni
cie pojedynczej obserwacji mo|
e prowadzi
do zaburzenia informacji okre[
laj
cej przebieg badanego zjawiska). Bardzo trudnym problemem jest r�wnie|
zagadnienie brak�w danych. W przypadku szereg�w czasowych warto[
ci brakuj
cych zwykle nie mo|
na pomin

, gdy|
mo|
e to znacznie utrudni
p�z
niejsz
identyfikacj
wyst
puj
cych prawidB
owo[
ci. Podobnie jak w przypadku warto[
ci bB

dnych, najcz
[
ciej zaleca si
zast
pienie brak�w warto[
ciami pochodz
cymi z innych z
r�deB
lub warto[
ciami oszacowanymi. 17 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Badanie jednorodno[
ci danych Kolejnym etapem wst
pnej analizy danych jest badanie ich jednorodno[
ci. Przeprowadzona procedura badawcza ma na celu okre[
lenie, czy wszystkie zgromadzone przypadki tworz
jednorodn
struktur
, czy te|
tworz
wyraz
nie wyodr
bnione klasy. Najprostsz
, a jednocze[
nie bardzo skuteczn
, metod
badania jednorodno[
ci jest wzrokowa analiza wykres�w rozrzutu danych. Naniesione na wykres punkty pozwalaj
oceni
stopieD
jednorodno[
ci danych. Graficzna prezentacja przypadk�w ucz
cych mo|
e zosta
utrudniona przez wysoki wymiar przestrzeni danych. W takich sytuacjach nale|
y wpierw dokona
redukcji liczby zmiennych opisuj
cych wyr�|
nione przypadki. Nie speB
nienie warunku jednorodno[
ci mo|
e przejawia
si
przez: �� wyst
pienie pojedynczych obserwacji nietypowych, �� wyst
powanie grup obserwacji. W przypadku stwierdzenia niejednorodno[
ci zbioru danych wej[
ciowych mo|
liwe s
nast
puj
ce strategie post
powania: �� je|
eli zbi�r obserwacji skB
ada si
z kilku jednorodnych grup obserwacji to mo|
liwe jest wydzielenie istniej
cych grup i niezale|
na analiza ka|
dej z nich. Post
powanie takie prowadzi do budowy niezale|
nego modelu dla ka|
dej jednorodnej grupy, �� je|
eli w zbiorze danych wyst
puj
obserwacje nietypowe, to mo|
liwe jest usuni
cie istniej
cych anomalii lub zast
pienie ich warto[
ciami zmniejszaj
cymi stopieD
ich nietypowo[
ci, �� B

czna analiza wszystkich danych i stworzenie jednego modelu. Ka|
de z tych podej[

ma swoje wady i zalety. PodziaB
danych na jednorodne grupy i budowa modelu dla ka|
dej z nich prowadzi do wykorzystania mniejszych sieci, kt�re szybciej si
ucz
i generuj
mniejsze bB

dy. Wad
modeli tego typu jest niewykorzystanie informacji wynikaj
cych z B

cznego rozpatrywania obiekt�w nale|

cych do r�|
nych grup wydzielonych ze wzgl
du na wym�g jednorodno[
ci. Wada ta nie ujawnia si
w sytuacji, gdy budowany jest jeden model na podstawie caB
ego zestawu danych. Ale w takim przypadku model mo|
e nie opisywa
pewnych zachowaD
o mniejszym nasileniu, wymaga zastosowania du|
ych sieci co poci
ga za sob
dodatkowe problemy zwi
zane z doborem odpowiedniej struktury sieci i jej uczeniem. Nie mo|
na jednoznacznie powiedzie
, kt�re z prezentowanych podej[

jest lepsze. Jest to uzale|
nione od konkretnego przypadku zastosowaD
. Operacjonalizacja danych Operacjonalizacja szeregu czasowego polega na przeksztaB
ceniu jego warto[
ci w spos�b pozwalaj
cy na wyeksponowanie pewnych, istotnych z punktu widzenia celu analizy, cech charakterystycznych szeregu. Operacjonalizacja danych maj
cych posta
szereg�w czasowych mo|
e polega
na przeksztaB
ceniu warto[
ci pierwotnych szeregu do postaci: 18 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl 1. szeregu r�|
nic, 2. szeregu warto[
ci -1, 0, +1, kt�re reprezentuj
kolejno warto[
ci ujemn
, r�wn
zero i dodatni
, 3. szeregu r�|
nic wzgl
dnych o postaci gdzie q mo|
e by
r�wne warto[
ci x w okresie t-1 lub w okresie pocz
tkowym 0 lub te|
odchylenie standardowe z szeregu r�|
nic xt-xt-1; obliczone w ten spos�b warto[
ci okre[
lane s
jako przyrosty wzgl
dne, 4. szeregu warto[
ci (indeksy dynamiki), 5. logarytm�w naturalnych z warto[
ci szeregu xt, 6. logarytm�w naturalnych z indeks�w dynamiki, 7. pierwiastk�w kwadratowych lub sze[
ciennych z warto[
ci szeregu, 8. wsp�B
czynnik�w udziaB
u okres�w wyra|
anych jako iloraz warto[
ci szeregu w danym okresie i sumy warto[
ci obliczonej dla wszystkich okres�w. Opr�cz wymienionych powy|
ej uniwersalnych metod operacjonalizacji szereg�w czasowych zastosowa
mo|
na r�wnie|
metody przeksztaB
ceD
specyficzne dla rozpatrywanej dziedziny zastosowaD
. W przypadku finansowych szereg�w czasowych przydatnym narz
dziem przeksztaB
cania danych mo|
e by
wyznaczenie warto[
ci wskaz
nik�w technicznych. Dob�r odpowiednich wskaz
nik�w uzale|
niony jest w du|
ym stopniu od celu prowadzonych obliczeD
. Zastosowanie wskaz
nik�w technicznych zilustrowane zostanie opisem przeksztaB
ceD
dokonanych na przykB
adowym szeregu czasowym skB
adaj
cym si
ze stu warto[
ci indeksu WIG pochodz
cych z kolejnych sesji gieB
dowych w okresie od 12 listopada 1991 do 1 grudnia 1992 roku (rys. 15). Szereg czasowy okre[
laj
cy ksztaB
towanie si
indeksu WIG staB
si
podstaw
do wyznaczenia trzech (wybranych w spos�b arbitralny) wskaz
nik�w technicznych: ROC, MACD i oscylator stochastyczny. Warto[
ci wskaz
nik�w technicznych mog
trafniej ni|
dane pierwotne reprezentowa
pewne cechy szeregu (poziom, kierunek zmian /trend/, tempo zmian). 19 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Rys. 15. KsztaB
towanie si
indeksu WIG w okresie od 12.XI.1991 do 1.XII.1992. Wskaz
nik ROC (Rate of Change, wskaz
nik zmian) por�wnuje bie|

c
warto[

szeregu z warto[
ci
pochodz
c
sprzed n okres�w. Obliczanie jego warto[
ci odbywa si
zgodnie ze wzorem: Uzyskanie warto[
ci wskaz
nika r�wnej jedno[
ci [
wiadczy o braku zmian w warto[
ciach szeregu (warto[

jeden wyznacza poziom r�wnowagi wskaz
nika). Warto[
ci ni|
sze od poziomu r�wnowagi wskazuj
na spadki, za[
wy|
sze na wzrosty warto[
ci szeregu pierwotnego. Wskaz
nik ROC nie posiada [
ci[
le okre[
lonego przedziaB
u zmienno[
ci. Obliczone warto[
ci wskaz
nika ROC przedstawione zostaB
y na rys. 16. Rys. 16. Indeks WIG i obliczony na jego podstawie wskaz
nik zmian (ROC) 20 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Innym popularnym wskaz
nikiem technicznym jest MACD (wskaz
nik zbie|
no[
ci/rozbie|
no[
ci [
rednich ruchomych; MACD - Moving Average Convergence/Divergence), kt�rego warto[
ci bazuj
na wielko[
ciach wykB
adniczych [
rednich ruchomych. Warto[

wskaz
nika MACD definiowana jest jako r�|
nica pomi
dzy dwiema wykB
adniczymi [
rednimi ruchomymi (zwykle s
to [
rednie 12 i 26 dniowe), czyli: gdzie jest pierwsz
(kr�tsz
) [
redni
ruchom
(np. 12 dniow
), za[
jest drug
(dB
u|
sz
) [
redni
ruchom
(np. 26 - dniow
). Z
rednie ruchome s
filtrem usuwaj
cym z szeregu wahania o wysokich cz
stotliwo[
ciach. Wraz z wydB
u|
aniem okresu, z kt�rego liczona jest [
rednia mocniejszy jest stopieD
wygB
adzania szeregu. Wskaz
nik MACD okre[
la tempo zmian w szeregu podstawowym. Dodatnie warto[
ci MACD wskazuj
na wzrost warto[
ci szeregu w okresie uwzgl
dnionym przy wyznaczaniu kr�tkiej [
redniej ruchomej w por�wnaniu z okresem odpowiadaj
cym dB
ugiej [
redniej ruchomej. W przeciwny spos�b interpretowa
mo|
na ujemne warto[
ci wskaz
nika. Buduj
c model szeregu czasowego nale|
y rozwa|
y
mo|
liwo[

uwzgl
dnienia na jego wej[
ciu zar�wno danych pierwotnych jak i warto[
ci wskaz
nik�w technicznych (np. wskaz
nika MACD), gdy|
takie post
powanie umo|
liwia wykrycie dywergencji (niezgodno[
ci kierunk�w zmian) pomi
dzy tymi szeregami, co mo|
e by
zapowiedzi
zmiany trendu. Warto[
ci wskaz
nika MACD obliczone na podstawie analizowanych warto[
ci WIG przedstawia rys. 17. Rys. 17. KsztaB
towanie si
indeksu WIG i wskaz
nika MACD. 21 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Trzecim, z wybranych na potrzeby niniejszego opracowania, wskaz
nikiem technicznym jest oscylator stochastyczny. Przedstawia on bie|

cy poziom indeksu lub ceny na tle przedziaB
u okre[
laj
cego jego zmienno[

w przyj
tym okresie czasu. Zastosowana w obliczeniach formuB
a ma posta
: gdzie: xt - bie|

ca warto[

szeregu, H(n) - warto[

maksymalna z ostatnich n okres�w, L(n) - warto[

minimalna z ostatnich n okres�w. Wyznaczona w podany spos�b warto[

%K okre[
la stosunek bie|

cej warto[
ci szeregu do zakresu wahaD
w n ostatnich jednostkach czasu. Przemno|
enie ilorazu przez sto powoduje, |
e charakteryzowany wskaz
nik unormowany jest do przedziaB
u [0; 100]. Wy|
sze jego warto[
ci wskazuj
, |
e aktualny poziom szeregu zbli|
a si
do swojej warto[
ci maksymalnej osi
gni
tej w rozwa|
anym przedziale czasu. Wykres warto[
ci oscylatora stochastycznego prezentuje rys. 18. Rys. 18. KsztaB
towanie si
indeksu WIG i warto[
ci oscylatora stochastycznego. Dekompozycja szereg�w czasowych Obserwowany szereg czasowy jest cz
sto rezultatem zB
o|
enia wielu, r�|
ni
cych si
charakterem, skB
adowych. ZB
o|
ona struktura szeregu w wielu przypadkach utrudnia prawidB
owe modelowanie i prognozowanie jego przyszB
ych warto[
ci, gdy|
pojedynczy model nie zawsze jest w stanie prawidB
owo odzwierciedla
zmiany zachodz
ce w 22 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl ksztaB
towaniu si
skB
adowych szeregu. Mo|
na oczekiwa
, |
e precyzja modelowania wzro[
nie w rezultacie wydzielenia skB
adowych badanego szeregu, niezale|
nego ich modelowania i agregacji uzyskanych wynik�w. Takie podej[
cie jest cz
sto stosowane w praktyce, gdy do opisu ksztaB
towania si
pewnych zjawisk wykorzystuje si
liniowe funkcje trendu (obrazuj
ce zasadniczy kierunek zmian) i wsp�B
czynniki sezonowo[
ci (wskazuj
ce na odchylenia od trendu maj
ce miejsce w kolejnych okresach czasu). Podej[
cie takie sprawdza si
w przypadkach charakteryzuj
cych si
stabilnym trendem i regularnymi wahaniami sezonowymi (nakB
adanymi na trend w spos�b addytywny lub multiplikatywny). Za przykB
ad mo|
e sB
u|
y
szereg przedstawiony na rys. 19. Rys. 19. Dekompozycja przykB
adowego szeregu. Z
rednie ruchome usuwaj
zmiany kr�tkookresowe (wygB
adzaj
szereg). W wyniku ich zastosowania uzyskuje si
informacje o zasadniczym kierunku zmian. PrzykB
ad zastosowania [
rednich ruchomych przedstawia rys. 20. 23 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Rys. 20. PrzykB
adowy szereg czasowy i wyznaczony na jego podstawie szereg [
rednich ruchomych. Cel stosowania operacji r�|
nicowania szeregu jest caB
kowicie odmienny. PrzeksztaB
cenie to ma doprowadzi
do usuni
cia trendu i pozostawienia informacji wyB

cznie o zmianach kr�tkookre-sowych. Wynik zastosowania tej operacji przedstawia rys. 21. Rys. 21. PrzykB
adowy szereg czasowy i wyznaczony na jego podstawie szereg r�|
nic. 24 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl W przypadku szereg�w powstaB
ych poprzez zB
o|
enie wi
kszej (i cz
sto nieznanej) liczby skB
adowych przedstawione proste metody dekompozycji nie zawsze pozwalaj
na identyfikacj
i wydzielenie skB
adowych szeregu. W realizacji tego zadania mo|
e pom�c prezentacja danych w dziedzinie cz
stotliwo[
ci, kt�ra ma na celu zobrazowanie nat
|
enia poszczeg�lnych skB
adowych cz
stotliwo[
ciowych. Najpopularniejszym narz
dziem przej[
cia z uj
cia czasowego do uj
cia cz
stotliwo[
ciowego jest analiza Fouriera. Rys. 22. Czasowe i cz
stotliwo[
ciowe uj
cie przykB
adowego szeregu czasowego. W prezentowanym przykB
adzie (rys. 22) analiza cz
stotliwo[
ciowa (po prawej stronie) wyraz
nie wskazuje na istnienie wahaD
o okresie 12 jednostek czasu (miesi
cy). Poddawany badaniom szereg czasowy zostaB
wpierw przeksztaB
cony poprzez wyeliminowanie trendu i odj
cie warto[
ci [
redniej. Z tego powodu uzyskane rezultaty uwzgl
dniaj
charakteryzuj
ce si
stosunkowo kr�tkim okresem trwania zmiany sezonowe i nie zostaB
y zdominowane przez informacje o trendzie (zmiany o niskich cz
stotliwo[
ciach czyli dB
ugookresowe). Analiza Fouriera pozwala na identyfikacj
skB
adowych spektralnych wyst
puj
cych w szeregu czasowym, ale nie dostarcza informacji dotycz
cej ich lokalizacji w czasie - nie okre[
la, czy zidentyfikowane wahania wyst
puj
na caB
ej dB
ugo[
ci szeregu, czy te|
tylko w pewnej jego cz
[
ci. Taki spos�b prowadzenia badaD
prowadzi
mo|
e do bB

dnej interpretacji uzyskanych wynik�w. 25 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Reprezentacja danych jako[
ciowych Pewne informacje wpB
ywaj
ce na przyszB

warto[

szeregu czasowego maj
charakter jako[
ciowy. Informacje o takiej postaci nie mog
by
wprowadzane na wej[
cia sieci neuronowej, kt�ra przystosowana jest do przetwarzania informacji w postaci ilo[
ciowej. Brak mo|
liwo[
ci bezpo[
redniego przetworzenia danych jako[
ciowych przez sie
neuronow
wymusza konieczno[

ich wst
pnego przeksztaB
cenia do postaci numerycznej. Zastosowany spos�b przeksztaB
cenia jest uzale|
niony od skali pomiarowej wB
a[
ciwej do wyra|
enia danych jako[
ciowych. Zmienne dwustanowe (binarne) mog
by
reprezentowane przy pomocy pojedynczego neuronu, na wej[
cie kt�rego wprowadza si
warto[
ci numeryczne odpowiadaj
ce warto[
ciom zmiennej binarnej. Zwykle stosuje si
jeden z dw�ch popularnych spos�b kodowania. Pierwszy z nich zakB
ada, |
e warto[
ciom binarnym przypisuje si
warto[
ci 0 i 1, za[
drugi zaleca kodowanie warto[
ci przy pomocy liczb -1 oraz +1. Zmienne nominalne wielostanowe s
reprezentowane przy pomocy metody jeden-z-n. Stosuj
c ten spos�b reprezentacji liczba neuron�w odpowiadaj
ca zmiennej jest r�wna liczbie mo|
liwych warto[
ci przyjmowanych przez zmienn
. Ka|
dy neuron odpowiada jednej warto[
ci, za[
dana warto[

reprezentowana jest przez pojawienie si
jedynki na odpowiadaj
cym jej neuronie i zer na wszystkich pozostaB
ych neuronach. Zmienne nominalne wielostanowe mog
by
r�wnie|
reprezentowane przy pomocy pojedynczego neuronu. W�wczas (podobnie jak w przypadku zmiennych binarnych) wszystkim warto[
ciom zmiennej przyporz
dkowywane s
numery, kt�re wprowadzane s
na wej[
cie neuronu odpowiada-j
cego danej zmiennej. Skalowanie W wielu przypadkach sie
neuronowa nie przetwarza bezpo[
rednio oryginalnych warto[
ci zmiennych obja[
niaj
cych i obja[
nianych, lecz operuje na warto[
ciach przeskalowanych. Skalowanie dotyczy zar�wno zmiennych numerycznych jak i numer�w porz
dkowych przypisanych poszczeg�lnym warto[
ciom nominalnym. Celem skalowania warto[
ci zmiennych wyj[
ciowych jest dostosowanie ich warto[
ci do zakresu warto[
ci wyj[
ciowych neuron�w wyj[
ciowych. Skalowanie warto[
ci zmiennych obja[
niaj
cych ma na celu przeksztaB
cenie ich warto[
ci do takiego przedziaB
u, dla kt�rego stopieD
zmienno[
ci logistycznych funkcji aktywacji jest najwi
kszy. Bardzo popularnym sposobem skalowania jest przeksztaB
cenie warto[
ci szeregu do przedziaB
u [0; 1] albo do przedziaB
u [-1; +1]. Po wykonaniu obliczeD
przez sie
neuronow
nale|
y wykona
przeksztaB
cenie powrotne, pozwalaj
ce na przej[
cie do pierwotnie stosowanej skali. 26 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Modele szereg�w czasowych wykorzystuj
ce perceptrony wielowarstwowe Wst
pna analiza danych prowadzi do uzyskania warto[
ci, kt�re mog
by
przetwarzane przez sie
neuronow
. Decyduj
c si
na konstrukcj
modelu wykorzystuj
cego perceptron wielowarstwowy nale|
y podj

decyzje okre[
laj
ce: �� jakie warto[
ci nale|
y wprowadza
na wej[
cia sieci, �� jak zaprojektowa
cz
[

ukryt
sieci, �� jak przeprowadzi
uczenie sieci. Odpowiedz
na postawione powy|
ej pytania uzale|
niona jest od rzeczywistego charakteru opisywanej zale|
no[
ci, od dost
pnych informacji i od liczebno[
ci posiadanego zbioru danych. Wyb�r warto[
ci wej[
ciowych jest jednym z najwa|
niejszych etap�w modelowania. Konstruuj
c sieci opisuj
ce zachowanie szereg�w czasowych w charakterze warto[
ci wej[
ciowych przyjmuje si
zwykle op�z
nione w stosunku do warto[
ci obja[
nianej warto[
ci tego samego szeregu jak i op�z
nione warto[
ci innych zmiennych. Nadmierne zwi
kszanie liczby wej[

prowadzi do rozbudowy sieci, co z kolei jest powodem zmniejszenia zdolno[
ci do uog�lniania. Projektuj
c zbi�r wej[

nale|
y rozwa|
y
uwzgl
dnienie tylko pewnych, nie s
siaduj
cych bezpo[
rednio z sob
warto[
ci op�z
nionych. R�wnie|
pomini
cie pewnych potencjalnych zmiennych wej[
ciowych mo|
e polepszy
jako[

sieci. Istotnym elementem wpB
ywaj
cym na jako[

modelu jest r�wnie|
prawidB
owe zaprojektowanie cz
[
ci ukrytej sieci. Narz
dziem sB
u|

cym do realizacji tego zadania s
algorytmy konstrukcji sieci, kt�re okre[
laj
optymaln
struktur
na drodze poszukiwaD
iteracyjnych. Ze wzgl
du na spos�b dziaB
ania algorytmy konstrukcji sieci neuronowych podzieli
mo|
na na trzy grupy: �� redukuj
ce - punktem wyj[
cia jest sie
o rozbudowanej strukturze - w trakcie uczenia zb
dne poB

czenia i/lub neurony s
usuwane z sieci, �� rozbudowuj
ce - punktem wyj[
cia jest sie
o prostej strukturze (bez warstw ukrytych) - w trakcie dziaB
ania dodawane s
niezb
dne neurony i/lub poB

czenia, �� przeszukuj
ce - bazuj
c na zestawie kilku struktur wej[
ciowych tworzone s
testowane r�|
ne warianty sieci w celu okre[
lenia struktury najlepiej przystosowanej do realizacji stawianych wymagaD
. Je|
eli na etapie wst
pnej analizy danych przeprowadzono dekompozycj
szeregu, to proces konstrukcji sieci nale|
y powt�rzy
dla ka|
dej wydzielonej skB
adowej. 27 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Sieci Kohonena w analizie szereg�w czasowych Narz
dziem przydatnym w trakcie analizy, modelowania i prognozowania szereg�w czasowych mo|
e by
r�wnie|
sie
Kohonena. Zastosowanie tego narz
dzia pozwala mi
dzy innymi na wydzielenie podobnych fragment�w szeregu czasowego. Celem zastosowania sieci Kohonena jest przypisanie poszczeg�lnych przypadk�w do reprezentuj
cych je skupieD
. Po dokonaniu klasyfikacji danych proces budowy modelu mo|
e zosta
zrealizowany niezale|
nie dla ka|
dej klasy. Spos�b zastosowania sieci Kohonena do klasyfikacji danych tworz
cych szereg czasowy zilustrowany zostanie przykB
adem dotycz
cym modelowania opisanego wcze[
niej szeregu obejmuj
cego sto warto[
ci indeksu WIG. ZaB
o|
ono, ze ka|
da warto[

szeregu uzale|
niona jest od wskaz
nik�w technicznych: ROC, MACD oraz oscylatora stochastycznego. Klasyfikacja przypadk�w realizowana przez sie
Kohonena przeprowadzana jest wyB

cznie na podstawie warto[
ci przyj
tych zmiennych obja[
niaj
cych. Proces tworzenia sieci w programie STATISTICA Neural Networks przedstawiony jest na rys. 23. Rys. 23. Konstrukcja sieci Kohonena w programie STATISTICA Neural Networks. Efektem dziaB
ania jest sie
zaprezentowana na rys. 24. Rys. 24. Struktura sieci Kohonena wykorzystanej w analizie przykB
adowego szeregu czasowego. Przeprowadzony proces uczenia sieci (zilustrowany wykresem zamieszczonym na rys. 25) doprowadziB
do wydzielenia klas grupuj
cych poszczeg�lne elementy zbioru ucz
cego. 28 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Rys. 25. Zmiana warto[
ci bB

du w trakcie uczenia sieci Kohonena. Liczebno[

poszczeg�lnych klas przedstawia zamieszczona poni|
ej tabela. Tabela 1. Cz
sto[
ci zwyci
stw poszczeg�lnych neuron�w wchodz
cych w skB
ad mapy Kohonena. Uruchomienie sieci Kohonena pozwala przypisa
ka|
dy element przetwarzanego zbioru danych do jednej z wydzielonych klas (rys. 26). Rys. 26. Uruchomienie sieci Kohonena umo|
liwiaj
ce przypisanie przypadk�w do poszczeg�lnych klas. 29 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Interpretacj
uzyskanych wynik�w uB
atwia naniesienie warto[
ci identyfikuj
cych klasy na wykres rozwa|
anego szeregu czasowego (rys. 27). Rys. 27. Podobne fragmenty szeregu czasowego wyodr
bnione przy pomocy sieci Kohonena. Sie
Kohonena pozwala na charakterystyk
uzyskanych klas. Najprostsz
metod
opisu wydzielonych grup jest wyznaczenie [
redniej warto[
ci zmiennej obja[
nianej (WIG) dla poszczeg�lnych skupieD
(tabela 2). Analiz
danych zawartych w tabeli 2 uB
atwia ich prezentacja graficzna (rys. 28). ZaB
o|
ono, |
e ciemniejszy kolor fragment�w mapy odpowiada wy|
szym warto[
ciom indeksu WIG. Tabela 2. Z
rednia warto[

indeksu WIG dla skupieD
reprezentowanych przez neurony wchodz
ce w skB
ad utworzonej sieci Kohonena. Rys. 28. Graficzna prezentacja warto[
ci indeksu WIG odpowiadaj
ca obszarom mapy Kohonena. 30 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Analiza wykresu wskazuje, |
e najwy|
sze warto[
ci indeksu odpowiadaj
prawemu, g�rnemu naro|
nikowi mapy. WIG osi
ga minimalne warto[
ci dla przypadk�w reprezentowanych przez lewy, dolny fragment sieci Kohonena. Podobny spos�b prezentacji (numeryczny i graficzny) zastosowa
mo|
na dla [
rednich warto[
ci zmiennych obja[
niaj
cych wyznaczonych dla poszczeg�lnych neuron�w zastosowanej sieci Kohonena. Por�wnanie wykres�w prezentuj
cych [
rednie warto[
ci zmiennych obja[
niaj
cych dla poszczeg�lnych klas z wykresem przedstawiaj
cym [
redni
warto[

WIGu pozwala na identyfikacj
zwi
zk�w zachodz
cych pomi
dzy zmiennymi. Sie
Kohonena stanowi
mo|
e r�wnie|
narz
dzie prognozowania. Je|
eli celem predykcji ma by
zmiana warto[
ci indeksu WIG w nast
pnym okresie, to nale|
y przedstawi
[
rednie warto[
ci zmian zachodz
ce dla dost
pnych przypadk�w (w rozbiciu na wydzielone klasy). Tabela 3. Z
rednia zmiana (procentowa) WIG'u w okresie nast
pnym w stosunku do okresu bie|

cego. Rys. 29. Z
rednia zmiana indeksu WIG dla wyodr
bnionych klas. Konstruuj
c prognoz
dla nowego przypadku nale|
y przypisa
go do wB
a[
ciwej klasy. Jego podobieD
stwo do element�w wcze[
niej zaklasyfikowanych do tej samej grupy mo|
e stanowi
podstaw
do oczekiwania, |
e r�wnie|
warto[

zmiennej obja[
nianej b
dzie si
ksztaB
towa
w podobny spos�b. Pr�ba sformalizowania przedstawionej metody polega
mo|
e na budowie oddzielnego modelu prognostycznego (wykorzystuj
cego perceptron wielowarstwowy) dla ka|
dej wydzielonej klasy. Algorytm genetyczny jako narz
dzie optymalizacji neuronowych modeli szereg�w czasowych Charakterystyka algorytm�w genetycznych Algorytmy genetyczne s
modelami rozwoju populacji chromosom�w. W klasycznej wersji algorytmu przez chromosom rozumie si
B
aD
cuch warto[
ci binarnych o okre[
lonej 31 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl dB
ugo[
ci. Algorytmy genetyczne sB
u|

do rozwi
zywania zagadnieD
z dziedziny optymalizacji. Najcz
[
ciej s
to zadania typu: a wi
c polegaj
ce na znalezieniu takiego zestawu parametr�w x1, ..., xn (b
d
cych liczbami rzeczywistymi), dla kt�rych funkcja celu FC przyjmuje warto[

maksymaln
. Spos�b dziaB
ania algorytmu genetycznego w trakcie rozwi
zywania problem�w tego typu skB
ada si
z nast
puj
cych etap�w: 1. przyj
cie sposobu kodowania rzeczywistych parametr�w funkcji przystosowania w postaci chromosomu (B
aD
cucha zer i jedynek) - okre[
lenie w jaki spos�b ka|
dy parametr b
dzie zamieniany na posta
binarn
(dw�jkow
) i z ilu zer i jedynek b
dzie si
skB
ada
binarna reprezentacja liczby rzeczywistej. PoB

czone ze sob
liczby binarne reprezentuj
ce kolejne parametry tworz
chromosom, 2. okre[
lenie postaci funkcji przystosowania - jest to funkcja, kt�rej warto[

uzale|
niona jest od wszystkich parametr�w x1, ..., xn. Funkcja ta sB
u|
y do oceny analizowanego zestawu parametr�w, im wy|
sza jej warto[

, tym lepsze dobrano parametry. Je[
li celem algorytmu genetycznego jest maksymalizacja pewnej funkcji celu FC, to w charakterze funkcji przystosowania mo|
na wykorzysta
t
sam
funkcj
FC, 3. losowy dob�r punkt�w startowych - proces poszukiwaD
optymalnego zestawu parametr�w rozpoczyna si
od losowego wyboru punkt�w startowych (zestaw�w parametr�w), przedstawione one zostaB
y w kolumnie Parametry; nast
pnie ka|
dy z tych zestaw�w kodowany jest w postaci chromosomu (kolumna Populacja w poni|
ej zamieszczonej tabeli); w kolejnym kroku dla ka|
dego zestawu parametr�w obliczana jest warto[

funkcji przystosowania (kolumna FP), 4. selekcja chromosom�w do nowej populacji - dla ka|
dego chromosomu okre[
la si
prawdopodobieD
stwo wej[
cia do nowej populacji; jest ono uzale|
nione od warto[
ci funkcji przystosowania: im wy|
sza warto[

funkcji przystosowania (co oznacza lepsze parametry), tym wi
ksze jest prawdopodobieD
stwo wej[
cia do nowej populacji. Wyb�r osobnik�w do nowej populacji realizowany jest zgodnie z reguB

ruletki - ka|
demu osobnikowi odpowiada wycinek koB
a o wielko[
ci proporcjonalnej do warto[
ci funkcji przystosowania, a nast
pnie wybierany jest w spos�b losowy punkt znajduj
cy si
na kole i do nowej populacji przechodzi ten chromosom, kt�remu odpowiadaB
wylosowany fragment koB
a. Proces ten jest powtarzany a|
do chwili, w kt�rej liczba chromosom�w w nowej populacji b
dzie r�wna liczbie chromosom�w w starej populacji. W trakcie tworzenia nowej populacji preferowane s
lepsze (w sensie zdefiniowanej funkcji przystosowania) chromosomy. 32 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Tabela 4. Schemat dziaB
ania algorytmu genetycznego. 5. w odniesieniu do osobnik�w nowej populacji stosuje si
(z pewnymi prawdopodobieD
stwami) operatory genetyczne, z kt�rych najpopularniejsze to: krzy|
owanie oraz mutacja. Spos�b dziaB
ania tych operator�w przedstawia poni|
szy schemat: �� Operator krzy|
owania - operator dziaB
aj
c na dw�ch chromosomach; wyznacza si
punkt przeci
cia (oznaczony "^"), a nast
pnie tworzy si
dwa chromosomy potomne poprzez poB

czenie materiaB
u genetycznego pochodz
cego z obu chromosom�w. Spo[
r�d chromosom�w potomnych wybiera si
w spos�b losowy jednego osobnika, kt�ry umieszczany jest w nowej populacji. Aby zachowa
liczebno[

populacji usuwany jest z niej jeden osobnik (chromosom przeznaczony do usuni
cia wybierany jest losowo, ale preferowane s
osobniki gorsze). C1: [0 1 0 1 1 0 1 1 0 1 1 0 1 0] C2: [1 0 0 1 0 1 1 0 1 1 1 0 0 0] ^ P1: [0 1 0 1 1 0 1 0 1 1 1 0 0 0] P2: [1 0 0 1 0 1 1 1 0 1 1 0 1 0] �� Operator mutacji - zamiana warto[
ci jednego (losowo wybranego bitu) na przeciwny. C1: [0 1 1 1 0 1 1 0 1 0 1 1 1 0] ^ P1: [0 1 1 1 1 1 1 0 1 0 1 1 1 0] 6. powy|
szy schemat post
powania powtarzany jest a|
do chwili, w kt�rej warto[

funkcji przystosowania przyjmie akceptowan
przez badacza warto[

lub te|
do momentu zrealizowania zadanej przez u|
ytkownika liczby iteracji. Chromosom o najwy|
szej warto[
ci funkcji przystosowania zawiera zakodowan
posta
parametr�w rozwi
zywanego zadania. 33 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl 7. dekodowanie znalezionego zestawu parametr�w. Podstawowe wB
a[
ciwo[
ci metody rozwi
zywania problem�w optymalizacyjnych przy u|
yciu algorytm�w genetycznych to: �� s
metod
optymalizacji globalnej, a nie lokalnej - przy wB
a[
ciwie dobranych parametrach algorytm genetyczny wyznacza maksimum globalne optymalizowanej funkcji (w odr�|
nieniu od metod gradientowych, kt�re mog
zatrzyma
si
w maksimum lokalnym), �� nie przetwarzaj
bezpo[
rednio parametr�w zadania, lecz ich zakodowan
posta
, �� prowadz
poszukiwanie, wychodz
c nie z pojedynczego punktu, lecz z pewnej ich populacji, �� korzystaj
tylko z funkcji celu, nie za[
z jej pochodnych lub innych pomocniczych informacji, �� stosuj
probabilistyczne, a nie deterministyczne reguB
y wyboru. Zastosowanie algorytm�w genetycznych do optymalizacji neuronowych modeli szereg�w czasowych W czasie konstrukcji modeli neuronowych badacz musi podj

wiele decyzji zwi
zanych z tworzonymi narz
dziami i maj
cymi istotny wpB
yw na prawidB
owo[

ich p�z
niejszego dziaB
ania. Najistotniejsze problemy zwi
zane s
z: �� okre[
leniem zbioru zmiennych wej[
ciowych, �� wyborem wB
a[
ciwego sposobu preprocessingu danych, �� doborem wB
a[
ciwej liczby op�z
nionych (przeszB
ych) warto[
ci szereg�w uwzgl
dnianych w charakterze informacji wej[
ciowej, �� doborem wB
a[
ciwej struktury sieci (przede wszystkim jej warstwy ukrytej: liczba poB

czeD
, przyj
ty model neuronu, topologia poB

czeD
). Narz
dziem wspomagaj
cym dob�r poprawnych warto[
ci wspomnianych parametr�w mo|
e by
algorytm genetyczny. Jego u|
ycie wymaga przyj
cia sposobu kodowania warto[
ci poszukiwanych parametr�w w chromosomie. Informacje o charakterze dwustanowym (uwzgl
dni
dan
zmienn
czy te|
nie; wprowadzi
na wej[
cie sieci okre[
lon
przeszB

warto[

szeregu czasowego lub nie; zastosowa
skalowanie danych wej[
ciowych czy te|
nie) kodowane s
zwykle na pojedynczej pozycji chromosomu (warto[

1 mo|
e by
interpretowana jako TAK, warto[

0 jako NIE). Po rozwi
zaniu problemu kodowania parametr�w zadania nale|
y okre[
li
spos�b wyznaczania warto[
ci funkcji przystosowania sB
u|

cej do okre[
lania jako[
ci ka|
dego chromosomu. Zwykle w celu oszacowania jako[
ci chromosomu przeprowadza si
rozkodowanie parametr�w, a nast
pnie buduje si
model neuronowy uwzgl
dniaj
cy odczytane informacje i przeprowadza si
jego uczenie. BB

dy wyznaczone w rezultacie 34 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl zastosowania utworzonego w ten spos�b modelu s
wykorzystywane do wyznaczenia warto[
ci funkcji przystosowania. Wz�r okre[
laj
cy funkcj
przystosowania mo|
e uwzgl
dnia
warto[

bB

du sieci wyznaczon
na podstawie zbioru ucz
cego, ale w�wczas spos�b oceny jako[
ci chromosom�w uwzgl
dnia wyB

cznie posiadan
przez sie
zdolno[

do aproksymacji. W celu uwzgl
dnienia charakteryzuj
cej model zdolno[
ci do generalizacji mo|
na uwzgl
dni
tak|
e warto[

bB

du dla zbioru walidacyjnego. Cz
sto funkcja przystosowania uwzgl
dnia opr�cz bB

d�w r�wnie|
inne charakterystyki modelu utworzonego na podstawie informacji przechowywanych w chromosomie. PrzykB
adem mog
by
wielko[
ci opisuj
ce struktur
sieci i liczb
zmiennych wej[
ciowych. Spos�b uwzgl
dnienia tych wielko[
ci powinien preferowa
modele prostsze, posiadaj
ce mniejsz
liczb
element�w, gdy|
one zwykle posiadaj
wi
ksz
zdolno[

do uog�lniania wiedzy zawartej w zbiorze ucz
cym. Nale|
y podkre[
li
, |
e proces konstrukcji sieci na podstawie informacji zawartych w chromosomie i nast
puj
ce po nim uczenie uzyskanego modelu musi by
wykonane ka|
dorazowo przy wyznaczaniu jako[
ci chromosomu. W czasie dziaB
ania algorytmu optymalizacji genetycznej liczba oszacowanych sieci neuronowych jest iloczynem liczby chromosom�w wchodz
cych w skB
ad populacji oraz liczby rozpatrywanych pokoleD
. Konieczno[

wielokrotnego uczenia sieci zwi
ksza w znacznym stopniu wymagania czasowe proponowanej procedury. W programie STATISTICA Neural Networks u|
ytkownik mo|
e skorzysta
z algorytmu genetycznego wybieraj
c zestaw zmiennych wej[
ciowych. Wybieraj
c opcje Uczenie - Narz
dzia dodatkowe - Dob�r cech wy[
wietlone zostanie okno pozwalaj
ce na dokonanie wyboru zmiennych wej[
ciowych najlepiej opisuj
cych ksztaB
towanie si
warto[
ci zmiennej wyj[
ciowej (w rozpatrywanym przykB
adzie byB
ni
wskaz
nik WIG). Rys. 30. Dob�r zmiennych wej[
ciowych przy pomocy algorytmu genetycznego w programie STATISTICA Neural Networks. Ocena testowanych zestaw�w zmiennych wej[
ciowych jest dokonywana na podstawie bB

du osi
gni
tego dla zbioru ucz
cego lub walidacyjnego (o ile taki zostaB
zdefiniowany). Do bB

du sieci dodawany jest tzw. czB
on kary b
d
cy iloczynem zdefiniowanego wsp�B
czynnika (Kara jednostkowa) i liczby uwzgl
dnionych zmiennych. Zdefiniowanie czB
onu kary wyra|
a d
|
enie do minimalizacji zbioru zmiennych wej[
ciowych. 35 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Ocena neuronowych modeli szereg�w czasowych Skonstruowany model nale|
y podda
ocenie, kt�ra najcz
[
ciej realizowana jest poprzez wyznaczenie warto[
ci i interpretacj
r�|
norodnych miernik�w jako[
ci modelu. Stosowane miary jako[
ci podzieli
mo|
na na dwie grupy: �� mierniki uniwersalne, �� mierniki specyficzne dla dziedziny zastosowaD
. Pierwsz
z wymienionych klas miernik�w stanowi
mierniki uniwersalne, stosowane cz
sto do oceny metod prognozowania stosowanych w r�|
norodnych dziedzinach zastosowaD
. Mierniki uniwersalne podzieli
mo|
na na dwie grupy: �� mierniki bezwzgl
dne, kt�rych warto[
ci bazuj
najcz
[
ciej na u[
rednionej warto[
ci r�|
nic pomi
dzy warto[
ciami teoretycznymi i rzeczywistymi dla posiadanego zestawu danych. Warto[
ci miernik�w wyznaczane s
oddzielnie dla zbioru ucz
cego, walidacyjnego i testowego. Dzi
ki temu u|
ytkownik mo|
e okre[
li
zar�wno poprawno[

modelu dla danych wykorzystywanych w procesie szacowania, jak r�wnie|
dla nowych przypadk�w. �� mierniki wzgl
dne por�wnuj
ce uzyskane wyniki z rezultatami uzyskanymi przy pomocy innych metod (przyj
tych za punkt odniesienia). W przypadku zastosowania modeli neuronowych cz
sto por�wnuje si
wyniki generowane przez sie
z prostymi prognozami zakB
adaj
cymi, |
e nast
pna warto[

szeregu r�wna b
dzie warto[
ci bezpo[
rednio j
poprzedzaj
cej. Lub te|
por�wnuje si
rezultaty uzyskane dzi
ki sieciom o zB
o|
onej strukturze z wynikami dostarczanymi przez proste sieci liniowe. Wymienione tu sposoby oceny sieci wskazuj
, czy zastosowanie wyrafinowanych obliczeniowo modeli przynosi rzeczywiste efekty. Wybrane uniwersalne mierniki jako[
ci wyznaczane s
przez ka|
dy symulator sieci neuronowych. R�wnie|
STATISTICA Neural Networks wyznacza dla utworzonej sieci szereg statystyk pozwalaj
cych na ocen
skonstruowanego modelu. Rys. 31. Statystyki regresyjne wyznaczane w programie STATISTICA Neural Networks. 36 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Je|
eli zestaw miernik�w oka|
e si
niewystarczaj
cy, to dysponuj
c warto[
ciami rzeczywistymi jak r�wnie|
odpowiadaj
cymi im warto[
ciami wyznaczonymi przez sie
, mo|
liwe jest zdefiniowanie warto[
ci innych miernik�w. Przeprowadzaj
c ocen
neuronowych modeli szereg�w czasowych przy pomocy uniwersalnych miernik�w jako[
ci nale|
y pami
ta
o: �� warto[
ci wielu miernik�w nie s
unormowane co powoduje, |
e w wielu przypadkach trudno oceni
jako[

modelu na podstawie wyznaczonej warto[
ci. Ta grupa miernik�w nie pozwala r�wnie|
na por�wnanie modeli uzyskanych na podstawie r�|
nych danych; �� ocena modelu neuronowego powinna uwzgl
dnia
zar�wno umiej
tno[

aproksymacji jak i generalizacji. Uwzgl
dnienie wyB

cznie bB

d�w uzyskanych dla zbioru ucz
cego preferuje zwykle modele rozbudowane, dopasowuj
ce si
do danych ucz
cych, ale nie posiadaj
ce umiej
tno[
ci uog�lniania zgromadzonej wiedzy; �� niekt�re miary jako[
ci modelu s
wra|
liwe na wykonanie (lub te|
na zaniechanie wykonania) wst
pnych przeksztaB
ceD
szeregu czasowego. PrzykB
adem mo|
e by
skalowanie warto[
ci szeregu, usuni
cie trendu itd. �� wnioski pB
yn
ce z uzyskanych miar jako[
ci modelu s
uzale|
nione od celu zastosowaD
utworzonego modelu (bB

d na poziomie 1% b
dzie inaczej oceniany przez przy prognozowaniu cen, a inaczej przy konstrukcji urz
dzeD
steruj
cych procesem produkcyjnym). Drug
grup
miernik�w jako[
ci neuronowych modeli prognostycznych stanowi
miary [
ci[
le dostosowane do specyfiki dziedziny, na potrzeby kt�rej skonstruowano sie
. Ich dziedzinowy charakter pozwala na lepsz
ocen
przydatno[
ci tworzonych modeli do konkretnej sytuacji. PrzykB
adem zwi
zanym z zastosowaniami finansowymi mo|
e by
miernik wskazuj
cych na odsetek przypadk�w, w kt�rym prawidB
owo okre[
lono kierunek (a nie wielko[

) zmian cen. Inn
metod
oceny mo|
e by
wyra|
ony w jednostkach pieni
|
nych efekt stosowania modelu prognostycznego w automatycznym systemie prognostycznym. Narz
dziami pomocnymi w procesie oceny neuronowych modeli prognostycznych mog
by
r�wnie|
rezultaty analizy graficznej oraz wyniki test�w sprawdzaj
cych charakter szeregu reszt. Prognozy przedziaB
owe Rezultatem dziaB
ania neuronowego modelu prognostycznego jest zazwyczaj pojedyncza warto[

, generowana przez neuron znajduj
cy si
w ostatniej warstwie sieci. Taki spos�b funkcjonowania nie zawsze jest zgodny z oczekiwaniami u|
ytkownika, gdy|
w wielu zastosowaniach wi
ksz
u|
ytecz-no[
ci
mog
si
charakteryzowa
metody dostarczaj
ce prognoz przedziaB
owych. Konstruuj
c prognoz
przedziaB
ow
wyznacza si
przedziaB
37 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl predykcji, do kt�rego z ustalonym prawdopodobieD
stwem nale|
e
b
dzie warto[

zmiennej prognozowanej. Perceptron wielowarstwowy nie mo|
e generowa
w spos�b bezpo[
redni prognoz przedziaB
owych. Wyznaczenie prognozy tego typu wymaga znajomo[
ci rozkB
adu oczekiwanego bB

du prognozy. W celu oszacowania jego parametr�w mo|
na posB
u|
y
si
metod
bootstrapow
, kt�ra umo|
liwia estymacj
nieznanego parametru rozkB
adu zmiennej losowej [
redni
z oszacowaD
parametru wyznaczonych na podstawie pr�b bootstrapowych. Pr�by bootstrapowe generowane s
N razy poprzez losowanie ze zwracaniem element�w z dost
pnego zbioru danych. Liczebno[

ka|
dej pr�by bootstrapowej jest r�wna liczbie element�w wchodz
cych w skB
ad pierwotnego zbioru danych. Schemat post
powania przystosowany do symulacyjnego szacowania oczekiwanych bB

d�w prognoz uzyskiwanych przy pomocy modeli neuronowych przedstawia poni|
szy rysunek. Rys. 32. Metoda bootstrapowa w modelowaniu neuronowym. Punktem wyj[
cia do prowadzonych obliczeD
jest posiadany zbi�r danych, a ich celem jest oszacowanie parametr�w rozkB
adu bB

d�w prognoz. W ka|
dej z N iteracji z posiadanego zbioru losowane s
(ze zwracaniem) elementy tworz
ce zbi�r bootstrapowy. Dla ka|
dego, wygenerowanego w ten spos�b zbioru, przeprowadzany jest proces konstrukcji modelu neuronowego. U[
rednione parametry rozkB
adu statystyk charakteryzuj
cych bB

dy w pr�bach bootstrapowych stanowi
oszacowanie parametr�w rozkB
adu bB

d�w prognoz. Dysponuj
c oszacowaniami parametr�w rozkB
adu bB

d�w prognoz uzyskanych przy pomocy modelu neuronowego mo|
na podj

pr�b
skonstruowania przedziaB
u predykcji. 38 www.StatSoft.pl Copyright � StatSoft Polska StatSoft Polska, tel. [phone], [e-mail], www.StatSoft.pl Wnioski koD
cowe Sztuczne sieci neuronowe stanowi
narz
dzie modelowania i prognozowania interesuj
ce zar�wno dla teoretyk�w jak i dla praktyk�w. Mog
one opisywa
zale|
no[
ci wyst
puj
ce pomi
dzy zmiennymi, s
narz
dziem generowania prognoz, umo|
liwiaj
badanie struktury danych. Wyniki uzyskane dzi
ki zastosowaniu modeli neuronowych wskazuj
, |
e stanowi
one cenne uzupeB
nienie innych metod modelowania. 39 Copyright � StatSoft Polska http://www.StatSoft.pl/Czytelnia