ANALIZA PORÓWNAWCZA
ZASTOSOWANIA SIECI NEURONOWYCH
DO KLASYFIKACJI OBIEKTÓW
Galina Setlak
Wioletta Szajnar
1 Wstęp
Zagadnienia rozpoznawania i klasyfikacji obiektów są obecnie
jednymi z najwa\
niejszych spośród wielu problemów, którymi aktualnie
zajmuje się współczesna nauka.
Klasyfikacja jest jednym z najczęściej rozwiązywanych zadań,
zarówno w technice jak i ekonomii. Ogólnie mo\
na określić, \
e algorytm
klasyfikacji polega na znalezieniu odwzorowania danych w zbiór
predefiniowanych klas:
: �" X C, (1)
f
Rp
c
gdzie C = {C1 , ,..., }jest skończonym zbiorem klas, natomiast zbiór
C C
2 n
X �" jest przestrzenią atrybutów, na podstawie których podejmowana
Rp
jest decyzja o wyniku klasyfikacji. Odwzorowanie klasyfikujące fc dzieli
przestrzeń X na n obszarów decyzyjnych, grupujących wzorce atrybutów
nale\
ące do jednej kategorii [8]. Dane wejściowe to zbiór przykładów,
obserwacji, próbek, będących listą wartości cech opisowych,
stanowiących model (klasyfikator). Na podstawie zawartości bazy danych
budowany jest model, który słu\
y do klasyfikowania nowych obiektów.
Zbudowanie formalnego klasyfikatora jest głównym celem klasyfikacji
danych. Proces klasyfikacji składa się z kilku etapów: budowania modelu,
testowania nieznanych wartości. Przy czym, klasyfikacja oznacza przy-
porządkowanie obiektu na podstawie wybranych cech charakterystycz-
nych do jednej z klas wzorcowych. O klasyfikacji mówimy wtedy, je\
eli
klasy, do których będzie rozdzielany zbiór wejściowy, zostaną zdefi-
niowane przed procesem podziału [1].
Do rozwiązywania zadań klasyfikacji tradycyjnie wykorzystywane są
metody statystyczne [5][2]. Spośród innych znanych metod, do
klasyfikacji u\
ywane są równie\
: klasyfikatory Bayesowskie, drzewa
decyzyjne, sieci neuronowe, algorytmy genetyczne, zbiory przybli\
one,
logika rozmyte i sieci neuronowo  rozmyte [3][6].
Celem niniejszej pracy jest zbadanie mo\
liwości zastosowań
sztucznych sieci neuronowych do klasyfikacji obiektów oraz dokonanie
oceny i analizy porównawczej otrzymanych wyników. W wyniku analizy
dokonuje się wyboru sieci dającej najlepsze wyniki klasyfikacji przy
rozwiązywaniu przykładowego zadania marketingowej analizy rynku.
2 Metodyka i wyniki prowadzonych badań eksperymentalnych
W niniejszych badaniach do klasyfikacji obiektów wykorzystano
następujące rodzaje sieci neuronowych, ró\
niące się między sobą budową
i sposobem nauczania:
wielowarstwowy perceptron - Multilayer Perceptron (MLP) ,
sieci radialne - Radial Basis Function (RBF).
Badania eksperymentalne zostały przeprowadzone na praktycznym
przykładzie analizy marketingowej rynku wyrobów gospodarstwa
domowego. Zadaniem klasyfikacji jest wybór najbardziej perspekty-
wistycznych rynków zbytu dla produkowanych w wybranym zakładzie
wyrobów. Do opisu klasyfikowanych obserwacji wykorzystamy
informację o odkurzaczach, które nale\
y podzielić na cztery klasy, tzn.
rynki zbytu. Parametry wejściowe charakteryzujące poszczególne wyroby
(odkurzacze) przedstawione są w tabeli 1.
Pierwsza kolumna tabeli 1 zawiera słowny opis ka\
dej charakterystyki,
typ której przedstawiony jest w kolumnie drugiej. Trzecia kolumna
zawiera skróconą nazwę odpowiadającą parametrowi, pod którym on
figuruje w programowym pakiecie Statistica Neural Networks (STNN),
który wykorzystamy do rozwiązania postawionych zadań [9].
Tabela 1
Parametry charakterystyczne wyrobów (odkurzaczy)
Opis Typ Skrócona
nazwa
Moc silnika Liczba ENGINE_W
Cena Liczba PRICE
Obecność systemu filtracji powietrza {Tak, Nie} FILTR_SYS
Obecność automatyki {Tak, Nie} AUTOFUNC
Automatyczne zwijanie sznura {Tak, Nie} AUTOCORD
Regulacja mocy lub przełącznik szybkości {Tak, Nie} SPD_CTRL
System obni\
enia szumu {Tak, Nie} NOISSYS
Funkcja wilgotności urządzenia {Tak, Nie} WASH
Estetyka wyglądu zewnętrznego {Tak, Nie} VIEW
Dodatkowe mo\
liwości i udogodnienia {Tak, Nie} FEATURE
(zalety)
Znany producent {Tak, Nie} BRAND
Stopień obsługi serwisowej {Niski,
Średni, SERVICE
Wysoki}
Parametrom wyjściowym klasyfikacji  jednej z czterech klas
przedstawionego rynku zbytu, w pakiecie STNN odpowiada skrót CLASS
[9]. Opis rynków z podziałem na klasy przedstawia się następująco:
- Klasa 1 to rynek, gdzie du\
ym zainteresowaniem ciszą się wyroby o
najwy\
szej jakości, o du\
ej mocy, z dodatkowymi licznymi ulepszeniami
i bardzo dobrym serwisem,
- Klasa 2 to średnia klasa kupujących, u których zainteresowanie
drogimi wyrobami jest mniejsze, ale wymagania w stosunku do wyrobów
są nadal dosyć du\
e,
- Klasa 3 to kupujący zwracający większą uwagę na niską cenę,
natomiast mniejszą wagę przywiązujący do ulepszeń,
Klasa 4 to rynek, w którym największą role odgrywa niska cena,
natomiast pozostałe parametry są mało istotne.
Dane do klasyfikacji pozyskane zostały na podstawie analizy
marketingowej pewnego przedsiębiorstwa produkcyjnego. Dane te
zostały wcześniej odpowiednio przygotowane. Ta faza obróbki
w programie STNN nosi nazwę  pre-procesing . W rozwa\
anym zadaniu
zbiór uczący opisuje 116 modeli odkurzaczy o ró\
nych parametrach.
W celu poszukiwania najlepszej architektury i optymalnej metody
nauczania w pracy jest wykorzystywany Intelligent Problem Solver (IPS)
w wersji zaawansowanej, wchodzący w skład pakietu STNN [7]. IPS jest
wyjątkowo u\
ytecznym narzędziem, które wyręcza u\
ytkownika
w najbardziej \
mudnym i pracochłonnym etapie konstruowania sieci
neuronowych - testowaniu i wyborze ró\
nych modeli.
IPS konstruuje i wstępnie ocenia architektury sieci neuronowych, przy
ró\
nych zestawach zmiennych wejściowych. Pozwala ocenić nam, który
parametr jest najistotniejszy. W problemach klasyfikacyjnych mo\
na
równie\
kontrolować, w jaki sposób odbywa się klasyfikacja dla
poszczególnych wartości. Przy u\
yciu IPS do analizy znaczenia
parametrów wejściowych, określono optymalne struktury sieci
neuronowych i w badaniach wykorzystano ju\
tylko rzeczywiście istotne
parametry. W bardzo zło\
onych zadaniach przy bardzo du\
ej ilości
parametrów wejściowych w STNN do wyboru struktury sieci mo\
na
zastosować takie narzędzie, jak Genetyczny algorytm doboru zmiennych
wejściowych.
IPS do rozwiązania zadania klasyfikacji tworzy i testuje wiele sieci,
które są porównywane, po czym, zgodnie z wybraną opcją spośród wielu
przykładów sieci, wybiera i zachowuje kilka, ró\
niących się między sobą
pod względem jakości i budowy, ilości warstw ukrytych i na nich
przeprowadza dodatkowe testy.
Podczas eksperymentu sieci nauczane były za pomocą następujących
metod:
MLP  Back Propagation  algorytm wstecznej propagacji błędu
Conjugate Gradient Descent  algorytm gradientów
sprzę\
onych
RBF - (K-Means)  algorytm K-średnich dla wyznaczania centrów
nauczania sieci RBF
(K-Nearest Neighbour)  K- najbli\
szych sąsiadów
Po przeprowadzeniu badań na rozwa\
anym zbiorze danych
wejściowych (obiekt  odkurzacz ) i rozwiązaniu zadania klasyfikacji za
pomocą ró\
nych rodzajów sieci MLP i RBF otrzymano wyniki
przedstawione w tabeli 2.
Tabela 2.
Wyniki klasyfikacji uzyskane przy u\
yciu IPS dla obiektu  odkurzacz
Rodzaj Błąd Ilość Ilość Najistot- Czas Wybra-
sieci paramet- warstw niejszy pracy ny
rów ukrytych parametr sieci market
wejścio- [s]
wych
MLP 0,099 10 12 10 2 1
MLP 0,111 9 12 1 4 1
MLP 0,175 9 11 1 6 1
MLP 0,126 8 9 10 8 2
MLP* 0,088 10 13 1 10 1
MLP 0,102 9 14 9 15 2
MLP 0,185 11 10 1 20 1
MLP 0,211 8 9 1 25 2
MLP 0,266 9 8 2 30 4
MLP 0,299 12 6 1 35 2
RBF 0,098 9 7 3 2 1
RBF* 0,095 9 8 1 4 1
RBF 0,127 10 6 3 6 3
RBF 0,131 11 5 3 10 1
RBF 0,175 9 2 3 15 2
RBF 0,155 9 3 3 20 3
RBF 0,191 12 3 1 25 2
RBF 0,130 10 7 1 50 2
RBF 0,093 9 8 3 55 2
RBF 0,116 10 6 3 60 2
y
ródło: Opracowanie własne
Niektóre zale\
ności uzyskane podczas analizy przestawiają poni\
sze
wykresy. Niektóre z punktów na wykresach są wartościami uśrednionymi
odpowiadającymi wartości błędu dla takiej samej ilości parametrów
wejściowych lub warstw ukrytych.
0,6
0,5
0,4
0,3
0,2
0,1
0
3 4 5 6 7 8 9 10 11 12 13 14 15
Ilość warstw ukrytych
Rys.1 Zale\
ność wielkości błędu od ilości warstw ukrytych dla sieci MLP
y
ródło: Opracowanie własne
ł
Bąd
0,6
0,5
0,4
0,3
0,2
0,1
0
6 7 8 9 10 11 12 13
Ilość parametrów wejściowych
Rys.2 Zale\
ność wielkości błędu od ilości parametrów wejściowych dla
sieci MLP.
y
ródło: Opracowanie własne
0,25
0,2
0,15
0,1
0,05
0
0 1 2 3 4 5 6 7 8 9
Ilość warstw ukrytych
Rys.3 Zale\
ność wielkości błędu od ilości warstw ukrytych dla sieci RBF
y
ródło: Opracowanie własne
3 Wnioski
Przeprowadzone badania zaowocowały opracowaniem dwóch
rodzajów sieci neuronowych o ró\
norodnej architekturze, nauczanych
ró\
nymi metodami, które zostały wykorzystane do sklasyfikowania
obiektu  odkurzacz .
Analiza pracy sieci sprowadzała się do podzielenia licznych modeli
odkurzaczy na cztery rynki zbytu. Ocenie podlegała dokładność
przyporządkowania do poszczególnych klas.
ł d
Bą
ł d
Bą
Podczas klasyfikacji 116 typów odkurzaczy trudniej nauczała się sieć
RBF, ni\
MLP, co na pewno miało wpływ na wynik końcowy. Bardzo
istotną rolę w procesie klasyfikacji odegrał prawidłowy dobór zmiennych,
który miał istotny wpływ na wynik klasyfikacji. Najlepszy rezultat
(zaznaczony w tabeli 3 gwiazdką) uzyskano przy u\
yciu sieci MLP
o dziesięciu wejściach i trzynastu warstwach ukrytych. Optymalny czas
pracy sieci wynosił wtedy 10s.
Najczęściej odrzucanym parametrem był 5 i 8. Były to, zatem
najmniej istotne parametry. Dla tych parametrów współczynnik korelacji
(ratio) miał wartość znacznie poni\
ej 1. Najczęściej wybieranymi
parametrami do analizy były 1 i 10. Wybrane zostały one do ka\
dej
analizy. Były to te\
najistotniejsze parametry o najlepszej wartości ilorazu
ratio.
Dla sieci RBF najlepszy wynik uzyskano dla 9 wejść i 8 warstw
ukrytych. Równie\
i tu najistotniejszym i najczęściej wybieranym
parametrem do analizy był parametr 1.
Analizując wszystkie wyniki dla poszczególnych sieci okazuje się, \
e
sieć MLP dawała gorsze wyniki przy krótkim czasie działania sieci oraz
w przypadku gdy czas pracy sieci wydłu\
ył się ponad 15 sekund.
Najlepszy wynik uzyskano dla czasu pracy 10 sekund. Wynik
uzale\
niony był równie\
od ilości parametrów wejściowych i ilości
warstw ukrytych. Najlepsze wyniki uzyskiwano dla 9  11 parametrów na
wejściu. Im więcej było warstw ukrytych tym wynik był lepszy.
Sieć RBF zachowywała się podobnie, je\
eli chodzi o ilość parametrów
wejściowych i warstw ukrytych. Im więcej było warstw ukrytych tym
wynik był lepszy.
Niektóre omawiane zale\
ności przestawiają wykresy 1  3.
W zale\
ności od tego, który parametr był najistotniejszy sieć
dokonywała klasyfikacji do poszczególnych klas (rynków zbytu). W
przypadku wyników obarczonych bardzo małym błędem wybór marketu
był bardzo trafny w przypadku obydwu sieci. Je\
eli najistotniejszym
parametrem była du\
a moc i dodatkowe ulepszenia, najczęściej
wybierana była klasa 1 i 2. Je\
eli istotną rolę w klasyfikacji odgrywał
parametr 2, czyli cena wyrobu, to wybierany był market 3 lub 4.
Porównując ze sobą dwa najlepsze wyniki dla poszczególnych sieci
mo\
na stwierdzić, \
e w tym przypadku lepszym klasyfikatorem okazała
się sieć MLP.
Dosyć trudno jest porównać otrzymane wyniki z badaniami
prowadzonymi przez innych badaczy, gdy\
niewielu zajmowało się
u\
yciem sieci neuronowych do klasyfikacji obiektów.
Prof. G. Setlak w swoich badaniach przedstawia u\
ycie sieci
neuronowych do klasyfikacji obiektów w dziedzinie ekonomii. Do
klasyfikacji u\
ywa między innymi sieci MLP i RBF. Przy bardzo du\
ym
zbiorze danych lepiej spisywała się sieć RBF, dając wyniki klasyfikacji
rzędu 98% (ilość trafnych wyników klasyfikacji). Przy mniejszych
zbiorach danych lepszym klasyfikatorem okazywała się być sieć MLP z
wynikami rzędu 97% [9].
W pracy doktorskiej R. Adamczak zajmuje się klasyfikowaniem
danych sonarowych. Analizy dokonuje za pomocą ró\
nych sieci. Dla sieci
MLP uzyskuje wyniki klasyfikacji rzędu 96%, a dla sieci RBF rzędu
95,7%. W tym przypadku lepszym klasyfikatorem jest sieć MLP. Ten
sam autor u\
ył sieci MLP i RBF do klasyfikacji danych medycznych.
Wyniki potwierdziły, \
e sieć MLP jest lepszym klasyfikatorem [4].
Jednym z niewielu autorów zajmujących się u\
yciem sieci
neuronowych do klasyfikacji jest Tran Hoai Linh. W swojej pracy
publikuje wyniki klasyfikacji rytmów serca. Wykorzystuje on rozmyte,
wieloetapowe sieci MLP. Dają one wyniki rozpoznania rzędu 90 -93%.
W pracy brak jest informacji na temat u\
ycia sieci RBF [10].
Podsumowując mo\
na powiedzieć, \
e sieci neuronowe ze względu na
ich mo\
liwości świetnie nadają się do rozwiązywania zadań klasyfikacji.
Bardzo łatwo mo\
na zmieniać ich architekturę, co owocuje ich większą
wszechstronnością. Przeglądając wyniki mo\
na uznać sieci neuronowe za
bardzo dobre klasyfikatory, nawet jeśli nie dają 100% zgodności
z wzorcem.
Przyczyną tego, \
e niektóre dane zostały błędnie zaklasyfikowane mo\
e
być to, \
e klasy zachodzą na siebie. Chcąc uzyskać lepsze wyniki, nale\
y
poszukiwać dodatkowych rozwiązań, między innymi testować sieci
o innej architekturze, a do nauczania stosować znacznie większy zbiór
uczący. Zaowocować to mo\
e jeszcze lepszym rezultatem ni\
ten, który
uzyskany został w niniejszym opracowaniu.
Spis literatury
[1] Hand D., Mannila H., Smith P.: Eksploracja danych, WNT, Warszawa
2005.
[2] StatSoft.: The statistic homepage is a public service provided by
StatSoft, Inc. 1984  2005.
[3] Stąpor K.: Automatyczna klasyfikacja obiektów, Wyd. Exit, Warszawa
2005.
[4] Adamczak R.: Zastosowanie sieci neuronowych do klasyfikacji danych
doświadczalnych, Praca doktorska, Uniwersytet M. Kopernika, Toruń
2001.
[5] Witkowska D.: Sztuczne sieci neuronowe i metody statystyczne,
C.H.BECK, Warszawa, 2002.
[6] Rutkowski L., Rutkowska D., Piliński M.: Sieci neuronowe, algorytmy
genetyczne i systemy rozmyte, PWN, Warszawa  A
ódz
1997.
[7] Statistica Neural Networks, Addendum for Version 4.0, Statsoft, Inc.,
1999.
[8] Zieliński J.: Inteligentne systemy w zarządzaniu  teoria i praktyka,
PWN, Warszawa, 2000.
[9] Setlak G.: Inteligentne systemy wspomagania decyzji, Wyd. LOGOS,
Kijów (w jęz. rosyjskim), 2004.
[10] Linh T. H.: Współczesne generacje sztucznych sieci neuronowych
i ich zastosowania w wybranych problemach klasyfikacji.
Autorzy
Prof. nazw. dr hab. in\
. Galina Setlak
Mgr Wioletta Szajnar
Państwowa Wy\
sza Szkoła Zawodowa
ul. Czarnieckiego 16
37-500 Jarosław  Polska
Numer telefonu: +48/512 /182 032
e-mail: [e-mail]