DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

Wykład 4

Modelowanie predykcyjne

– sieci neuronowe

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

2

Struktura wykładu:

• Podstawowy model neuronu i sieci neuronowej

• Działanie sieci neuronowej i jej uczenie

• Zalety i wady sieci neuronowych

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

3

Biologiczne inspiracje sztucznych sieci neuronowych

Skomplikowane systemy uczące w mózgach zwierząt składają się

z połączonych między sobą grup neuronów.

Sztuczne sieci neuronowe (sieci neuronowe (neural networks))

stanowią próbę odwzorowania uczenia nieliniowego występującego
w biologicznych systemach nerwowych.

• Sieci neuronowe składają się z określonych grup elementów

naśladujących działanie neuronu jako jednostki biologicznej.

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

4

Biologiczne inspiracje sztucznych sieci neuronowych

Budowa biologicznej komórki nerwowej (neuronu)

• Dendryty – rozgałęziona struktura wielu wejść informacyjnych

zbierająca sygnały z innych komórek i receptorów

• Akson – wyprowadza sygnał wyjściowy i przekazuje go

do odbiorników informacji

• Synapsa – przekazuje sygnał od neuronu do neuronu
• Korpus komórki nerwowej – agreguje sygnały wejściowe i wyznacza

sygnał wyjściowy

dendryty

ciało komórki

jądro

akson

synapsa

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

5

Model sztucznego neuronu

Sztuczny neuron
• Zbiera sygnały (dane) wejściowe ( ) z poprzedzających go neuronów.
• Sumuje otrzymane sygnały z odpowiednimi wagami ( ) i tworzy z nich

jedną wartość (np. za pomocą funkcji Σ).

• Otrzymany wynik jest wejściem dla funkcji aktywacji (φ).
• Funkcja aktywacji zwraca sygnał wyjściowy (dane wyjściowe) (y).
• Sygnał wyjściowy przekazywany jest do następnych neuronów.

1

x

2

x

n

x

1

w

2

w

n

w





y



i

x

1

0



x

0

w

i

w

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

6

Przykładowy model sieci neuronowej

Sieć neuronowa jest zbiorem prostych jednostek (neuronów) połączonych

w określony sposób.

Sygnały (wartości) wejściowe sieci mają przypisane wagi, których wartość

mogą podlegać zmianom w trakcie uczenia.

Sygnały wyjściowe sieci powstające jako odpowiedzi na sygnały wejściowe

wyznaczają rozwiązanie stawianego sieci zadania.

Warstwa wejściowa Warstwa ukryta Warstwa wyjściowa

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

7

Model regresji liniowej

– przykład prostej sieci

neuronowej

)

(

)

(

1

0









n

i

i

i

x

w

w

y

E



Warstwa
wejściowa

Warstwa
wyjściowa











n

i

i

i

x

w

w

y

E

1

0

1

))

(

(





1

x

2

x

3

x

n

x



1

w

2

w

3

w

n

w

0

w

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

8

Kodowanie sygnałów wejściowych oraz wyjściowych

Zaleca się kodowanie danych wejściowych tak, aby przyjmowały wartości

z przedziału od 0 do 1.

• Zmienne ciągłe – normalizacja min-max

• Zmienne jakościowe – znaczniki (flagi) informujące o wartości atrybutu.

Zmienne jakościowe o k wartościach zamieniamy na k-1 znaczników.

Neurony wyjściowe najczęściej zwracają wartości z przedziału od 0 do 1.

 

 

 

 

 

X

X

X

X

X

X

X

X

min

max

min

zakres

min

*











DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

9

Sieci neuronowe

– klasyfikacja

• Dwudzielny problem klasyfikacyjny:

„Czy klient spłaci kredyt?”

„Czy klient zrezygnuje z usług firmy?”

Przypadek pojedynczego neuronu wyjściowego z uprzednio

ustawioną wartością progową oddzielającą dwie klasy.

• Wielodzielny problem klasyfikacyjny:

„Jakiej jakości jest produkt: złej, średniej, dobrej?”

Przypadek pojedynczego neuronu wyjściowego dla kilku kategorii

jednoznacznie uporządkowanych.

• Wielodzielny problem klasyfikacyjny:

„Od jakiego producenta pochodzi produkt: XX, YY, ZZ”

Przypadek wielu neuronów wyjściowych – kodowanie 1 z n (każdej

kategorii przypisywany jest dokładnie jeden neuron wyjściowy).

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

10

Sieci neuronowe

– szacowanie, przewidywanie

• Dane wejściowe kodowanie np. normalizacja min-max

• Dane wyjściowe denormalizacja

wartość przewidywana = wynik * zakres + minimum

wynik

– wartość zwracana przez sieć

zakres

– zakres wartości początkowych atrybutu przed skalowaniem

minimum

– minimalna wartość atrybutu przed skalowaniem

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

11

Prosta sieć neuronowa – przykład

Warstwa wejściowa

Warstwa wyjściowa

Warstwa ukryta

neuron 1

neuron 2

neuron 3

neuron B

neuron A

neuron Z

A

w

1

B

w

1

A

w

2

B

w

2

A

w

3

B

w

3

A

w

0

B

w

0

Z

A

w

Z

B

w

Z

w

0

Sieć warstwowa, jednokierunkowa i pełna.

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

12

Prosta sieć neuronowa

Funkcja

łącząca (kombinacji) oblicza kombinacje liniową sygnałów

wejściowych z odpowiednimi wagami połączeń. Funkcja liniowa
(LINEAR

) dla węzła j:

– sygnał przekazywany z i-tego wejścia do j-tego neuronu

– waga połączenia pomiędzy i-tym wejściem a j-tym neuronem
(j-ty neuron ma I

+1 wejść)

– sygnały wejściowe pochodzące z warstwy poprzedniej

– stałe w czasie wymuszenie zewnętrzne

Przykład c.d.
Dla neuronu A w warstwie ukrytej:

j

I

j

I

j

j

j

j

i

j

i

j

i

j

x

w

x

w

x

w

x

w

net















1

1

0

0

j

i

x

j

i

w

i

x

0

x

 

A

A

A

A

A

A

A

i

A

i

A

i

A

x

w

x

w

x

w

w

x

w

net

3

3

2

2

1

1

0

1













DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

Inne funkcje kombinacji

Niech będą wartościami standaryzowanymi, a , b, , będą

obliczane w sposób interaktywny, wówczas:

ADD


EQSLOPES


EQRADIAL


EHRADIAL









p

i

i

i

j

j

x

w

w

net

1

1

01











p

i

i

ij

j

x

w

b

net

1

2

2

)

(







p

i

i

j

x

net

1









p

i

i

ij

j

j

x

w

b

net

2

2

)

(

p

x

x

x

,

,

,

2

1



j

a

j

b

ij

w

13

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

Inne funkcje kombinacji

Niech f

oznacza liczbę połączeń z neuronem, w Enterprise Miner f nazywane

jest fan-in.

EWRADIAL

EVRADIAL

XRADIAL









p

i

i

ij

j

j

j

x

w

b

a

abs

f

net

2

2

)

(

))

(

log(









p

i

i

ij

j

j

j

x

w

b

b

abs

f

net

2

2

)

(

))

(

log(









p

i

i

ij

j

j

x

w

b

a

abs

f

net

2

2

)

(

))

(

log(

14

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

15

Prosta sieć neuronowa – funkcja aktywacji

• Wyznaczona kombinacja liniowa jest następnie wejściem

dla funkcji aktywacji.

Funkcja aktywacji

przekształca wyjście z funkcji kombinacji i przesyła

je dalej.

Przykładowa sigmoidalna funkcja aktywacji:

 

x

e

x







1

1



0

0,5

1

j

net

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

16

Inne funkcje aktywacji

Funkcjami aktywacji mogą być dowolne funkcje ciągłe generujące

w neuronie wyjściowym wartość z odpowiedniej skali.

Trzy inne podstawowe rodzaje funkcji aktywacji stosowane w sieciach

neuronowych:

Funkcja liniowa

Funkcja tangens
hiperboliczny

Funkcja skoku
jednostkowego

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

Funkcje aktywacji

Arc Tan

Elliot

Hyperbolic Tangent

Logistic

Gauss

Sine

Cosine

Exponential

Square

Reciprocal

Softmax

 

 

j

j

net

H

1

tan

2







 

j

j

net

H

tanh



j

j

j

net

net

H





1





j

j

net

H







exp

1

1





2

5

.

0

exp

j

j

net

H





 

j

j

net

H

sin



 

j

j

net

H

cos



 

j

j

net

H

exp



2

j

j

net

H



j

j

net

H

1



 











3

1

exp

exp

k

k

j

j

net

net

H

3

,

2

,

1



j

3

,

2

,

1



j

17

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

18

Prosta sieć neuronowa

Przykład c.d.
Dla neuronu A

funkcja aktywacji przyjmuje jako wejście i wyznacza wartość

wyjściową neuronu A:

Analogicznie wyznaczamy wartość wyjściową dla neuronu B:

Neuron Z

łączy wartości wyjściowe pochodzące z neuronów A i B wyznaczając

ważoną sumę sygnałów wejściowych dla neuronu Z, oznaczając
mamy:

Wartość funkcji aktywacji neuronu Z:









A

A

A

net

net

y









exp

1

1



A

net









B

B

B

net

net

y









exp

1

1



 

Z

B

Z

B

Z

A

Z

A

Z

i

Z

i

Z

i

Z

x

w

x

w

w

x

w

net













1

0









Z

Z

Z

net

net

y









exp

1

1



A

AZ

y

x



B

BZ

y

x



DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

19

Przepływ informacji w sieci neuronowej

Warstwa wejściowa

Warstwa wyjściowa

Warstwa ukryta

wiek

płeć

dochód

dochód

eć

pł

wiek

4

3

2

1



















A

dochód

eć

pł

wiek









4

3

2

1











dochód

eć

pł

wiek

8

7

6

5



















B

dochód

eć

pł

wiek









8

7

6

5











B

A

13

12

11















B

A

13

12

11













DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

20

Perceptron wielowarstwowy (MLP

– Multi Layer Perceptron)

Warstwy MLP:

Wejściowa
zawiera co najmniej tyle neuronów, ile jest zmiennych objaśniających

(co najmniej jeden neuron dla każdej zmiennej objaśniającej)

Ukryta lub kilka warstw ukrytych
nieliniowo przekształca sygnał wejściowy (ważoną kombinację liniową

wejść)

Wyjściowa
zbiera i łączy wyniki z warstwy ukrytej w celu otrzymania ostatecznej

predykcji (otrzymany wynik można porównać z wartością rzeczywistą)

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

21

Model perceptronu wielowarstwowego



























n

i

m

j

j

ji

oi

i

i

x

w

w

w

w

y

E

1

1

0

)

(

)

(





0

w





1

w

n

w

01

w

n

w

0

11

w

mn

w

1

m

w

n

w

1

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

22

Liczba neuronów

Większa liczba neuronów w warstwie ukrytej:
• większa moc obliczeniowa i elastyczność sieci neuronowej;
• przeuczenie – zbyt dobre dopasowanie sieci do zbioru uczącego oraz

mniejsza zdolność do uogólniania.

Przeuczenie mniejsza liczba neuronów w warstwie ukrytej
Mała dokładność klasyfikacji większa liczba neuronów w warstwie

ukrytej

• Brak jednoznacznych zasad określających liczbę neuronów w warstwie

ukrytej.

• Np. według jednej z zasad zaleca się umieszczenie ~2*k (k - liczba

zmiennych objaśniających) neuronów w pierwszej warstwie ukrytej.

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

23

Model sieci z bezpośrednimi połączeniami

0

w





1

w

n

w

01

w

n

w

0

11

w

mn

w

1

m

w

n

w

1

































n

i

m

k

k

k

m

j

j

ji

oi

i

i

x

d

x

w

w

w

w

y

E

1

1

1

0

)

(

)

(





1

d

m

d

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

24

MLP z dwiema warstwami ukrytymi

0

w





1

w

n

w

101

w

n

w

10

11

w

mn

w

1

m

w

n

w

1

































)

)

(

(

)

(

1

1

10

1

1

1

20

2

0

k

i

m

h

j

hj

j

i

n

j

ji

i

i

i

x

w

w

w

w

w

w

y

E







111

w

k

w

11

1

1n

w

nk

w

1



201

w

k

w

20

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

25

Sieci radialne

Sieci radialne
•

oparte są na radialnych funkcjach bazowych (Radial Basis Functions)

•

aproksymują odwzorowania prowadzące z jednej przestrzeni wielowymiarowej

w inną przestrzeń wielowymiarową

•

posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych

•

warstwa wyjściowa składa się z neuronów liniowych

•

każdy neuron posiada parametr, który steruje „szerokością” dzwonu Gaussa

Funkcje radialne (RBF)

– klasa funkcji aktywacji, których wartości maleją

lub rosną monotonicznie wraz z odległością od centrum neuronu.

Parametrami funkcji radialnej są: centrum neuronu i współczynnik skalowania

(wyznacza szerokość oddziaływania neuronu).

Funkcje ORBF (Ordinary RBF)

– wykładnicze funkcje aktywacji, tworzące zbiór

dzwonów Gaussa.

Funkcje NRBF (Normalized RBF)

– funkcje aktywacji tworzone w oparciu

o normalizowaną kombinację dzwonów Gaussa.

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

Funkcje ORBF

XRADIAL

– nierówne wysokości i szerokości

EQRADIAL

– równe wysokości i szerokości

EWRADIAL

– równe szerokości

EHRADIAL

– równe wysokości

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

27

Model sieci ORBF

0

w





1

w

n

w

01

w

n

w

0

11

w

mn

w

1

m

w

n

w

1































































n

i

m

j

ji

j

i

i

w

x

w

w

w

y

E

1

1

2

0

0

exp

)

(



DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

28

Model sieci NRBF













































n

i

k

j

j

i

i

e

e

w

w

y

E

1

1

0

)

(



0

w





1

w

n

w

01

w

n

w

0

11

w

mn

w

1

m

w

n

w

1

Problem

: stosowanie funkcji ORBF może spowodować, że otrzymana

hiperpłaszczyzna nie będzie gładka (zbiór uwypukleń będzie miał charakter lokalny).
Rozwiązanie: zastosowanie normalizowanych funkcji RBF (NRBF)

 











































m

j

ji

j

i

i

i

w

x

w

a

l

e

1

2

2

0

ln

exp

l

– liczba połączeń

poprzedzających neuron

– wysokość najwyższego

z „dzwonów”

i

a

+

+

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

29

Proces uczenia sieci neuronowej

Jak uczy się sieci neuronowe typu wielowarstwowy perceptron?

1.

Ustalane są wagi początkowe (losowanie lub uczenie wstępne).

2.

Każda obserwacja ze zbioru uczącego jest przetwarzana przez sieć.

3.

Następnie korygowane są wagi przez odpowiedni algorytm
optymalizacyjny.

4.

Uczenie kontynuowane jest aż do osiągnięcia zadanego warunku
przerwania uczenia.

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

30

Sieć ze wsteczną propagacją błędów

Algorytm propagacji wstecznej
• Zbiór danych wejściowych przetwarzany jest przez sieć neuronową.
• Otrzymana wartość wyjściowa jest porównywana z wartością

oczekiwaną (wejściową) – wyznaczany jest błąd dla danego rekordu.

• Różnice pomiędzy wartościami wyjściowymi a wejściowymi stanowią

podstawę zmian wag neuronów.

• Szukamy zbioru wag minimalizujących SSE.

• Podstawową metodą minimalizacji SSE jest gradientowa metoda

największego spadku, dająca zależność na zmianę wartości wag

w kolejnych krokach iteracji (reguła delta).

• Regułę tą można bezpośrednio stosować dla sieci jednowarstwowych.

W przypadku sieci wielowarstwowych, konieczne jest wprowadzenie

dodatkowego algorytmu pozwalającego na równoczesną zmianę wag

neuronów we wszystkich warstwach.













2

SSE

oczekiwana

wyjście

rekord

neuron
wyjściowy

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

31

Miary błędu dla zmiennej binarnej

Kryterium maksymalnej wiarogodności

Dla zmiennej objaśnianej zero-jedynkowej:

  

 

















n

i

i

i

i

i

p

y

p

y

1

1

ln

1

ln

 













i

i

i

i

p

p

1

ln

ln

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

32

Miary błędu dla zmiennej ciągłej

Rozkład zmiennej objaśnianej Miara błędu

• NORMALNY

• POISSON

• GAMMA

 





2

SSE

w

f

y





 





 









w

f

y

w

f

y



ln

2

 





 









1

ln

2





w

f

y

w

f

y

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

33

Warunki stopu

Sieć neuronowa kontynuuje uczenie się na zbiorze uczącym, rekord

po rekordzie, stale dopasowując wagi.

Algorytm uczenia może potrzebować wielu przebiegów przez zbiór

danych.

Warunki przerwania uczenia sieci:
• osiągnięto zamierzoną liczbę powtórzeń uczenia
• wykorzystano rzeczywistą ilość czasu na uczenie
• wartość błędu na zbiorze walidacyjnym stabilizuje się lub zaczyna

wzrastać

• wartości otrzymanych wag nie zmieniają się

Niezależnie od użytego kryterium stopu algorytmy uczenia sieci

nie gwarantują znalezienia rozwiązania optymalnego – globalnego
minimum SSE.

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

34

Zalety sieci neuronowych

• Otrzymane wyniki są zmienną ciągłą

• Analiza wielu zmiennych jednocześnie

• Możliwości stworzenia modelu gdy rozwiązanie ma dużą złożoność

• Odporność na zaszumione dane

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

35

Wady sieci neuronowych

• Trudności w ustaleniu parametrów architektury sieci

• Wpadanie w minima lokalne

• Potencjalnie długi czas uczenia sieci

• Problemy braków danych i obserwacji odstających

• Brak jasnej interpretacji

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

36

Zastosowania sieci neuronowych

• Predykcja

• Klasyfikacja i rozpoznawanie

• Analiza danych

• Kojarzenie danych

• Optymalizacja

• Filtracja sygnałów

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

37

Dziękuję za uwagę !