Materiały pomocnicze do przedmiotu Wspomaganie decyzji i metody sztucznej inteligencji – ćwiczenie 03

 

 

Politechnika Łódzka, Instytut Automatyki 

1

 

  

 
 

  

 

Ćwiczenie 3. 

 
 
 

Zadanie:  Korzystając  z  pakietu  Simulink  naleŜy  zrealizować  sieć  neuronową  przybliŜającą  obiekt  o 

równaniach  (1).  Nauka  sieci  powinna  być  przeprowadzona  w  trybie  on-line.  Struktura  sieci  została 

przedstawiona  na rys 1. Neuronowy  model będzie posiadał n=3 wejścia i N=4 neurony  z funkcja tansig (tgh – 

tangens hiperboliczny) w warstwie ukrytej. 

 

( )

1

2

1

2

2

1

sin

*

4

x

y

u

x

x

x

x

x

=

+

−

−

=

=

&

&

  

 

 

 

 

 

 

 

(1)

 

 

 

 

 

 

 

 

 

 

 

Rys. 1. 

 

Zadanie  zostanie  podzielone  na  dwa  etapy:  (1)  wyznaczenie  praw  adaptacji  wartości  wag,  (2)  implementacja 

sieci wraz z mechanizmem adaptacji,  

 

(1)  Prawo adaptacji wartości wag 

 

Podczas kolejnych iteracji (k+1, ....) wagi warstwy wyjściowej będą modyfikowane o składnik 

ij

w

∆

. W zapisie 

wektorowym będzie to   

W

W

W

∆

+

=

+

)

(

)

1

(

k

k

,   

 

 

 

 

 

 

 

(2) 

gdzie w zaleŜności od przyjętej metody uczenia składnik wyraŜenie 

W

∆

moŜe być określony róŜnie. Dla metody 

gradientowej składnik ten będzie określony jako 

e

∇

⋅

−

=

∆

η

W

,    

 

 

 

 

 

 

 

 

(3) 

gdzie  

i-ty neuron 

x

j

 

w

ij

s

i

 

f

i

 

w

i

 

y 

Materiały pomocnicze do przedmiotu Wspomaganie decyzji i metody sztucznej inteligencji – ćwiczenie 03

 

 

Politechnika Łódzka, Instytut Automatyki 

2













∂

∂

∂

∂

∂

∂

=

∇

N

w

e

w

e

w

e

e

,...,

,

2

1

  

 

 

 

 

 

 

 

(4) 

jest gradientem błędu, a 

η

 to współczynnik uczenia (na diagramach Simulinka rate). 

 

Błąd e został zdefiniowany jako   

(

)

2

2

1

d

y

e

−

=

    

 

 

 

 

 

 

 

 

(5) 

Wyjście sieci określa równanie  

∑

=

⋅

=

N

i

i

i

w

f

y

1

 

 

 

 

 

 

 

 

 

 

(6) 

w którym f

i

 jest wyjściem i-tego neuronu o pobudzeniu s

i

.  

( )

i

i

s

tgh

f

=

 

 

 

 

 

 

 

 

 

 

(7) 

∑

=

⋅

=

n

j

ij

j

i

w

x

s

1

    

 

 

 

 

 

 

 

 

(8) 

 

Pochodną cząstkową obliczymy ze wzoru  

i

i

w

y

y

e

w

e

∂

∂

∂

∂

=

∂

∂

   

 

 

 

 

 

 

 

 

(9) 

gdzie zgodnie z (5) i (6)  

d

y

y

e

−

=

∂

∂

 

 

 

 

 

 

 

 

 

 

(10) 

 

i

i

f

w

y

=

∂

∂

 

 

 

 

 

 

 

 

 

 

(11) 

czyli 

(

)

i

i

i

f

d

y

w

y

y

e

w

e

⋅

−

=

∂

∂

∂

∂

=

∂

∂

  

 

 

 

 

 

 

 

(12) 

 

 

W podobny sposób moŜna wyznaczyć aktualizacje wag warstwy ukrytej  

ij

ij

w

e

w

∂

∂

⋅

−

=

∆

η

   

 

 

 

 

 

 

 

 

(12) 

ij

i

i

i

i

ij

w

s

s

f

f

y

y

e

w

e

∂

∂

∂

∂

∂

∂

∂

=

∂

∂

  

 

 

 

 

 

 

 

 

(13) 

gdzie zgodnie z (5), (6), (7), (8) 

d

y

y

e

−

=

∂

∂

 

 

 

 

 

 

 

 

 

 

(14) 

Materiały pomocnicze do przedmiotu Wspomaganie decyzji i metody sztucznej inteligencji – ćwiczenie 03

 

 

Politechnika Łódzka, Instytut Automatyki 

3

i

i

w

f

y

=

∂

∂

 

 

 

 

 

 

 

 

 

 

(15) 

( )

[

]

i

i

i

s

tgh

s

f

2

1

−

=

∂

∂

  

 

 

 

 

 

 

 

 

(16) 

j

ij

i

x

w

s

=

∂

∂

 

 

 

 

 

 

 

 

 

 

(17) 

czyli 

(

)

( )

[

]

j

i

i

ij

i

i

i

i

ij

x

s

tgh

w

d

y

w

s

s

f

f

y

y

e

w

e

⋅

−

⋅

⋅

−

=

∂

∂

∂

∂

∂

∂

∂

=

∂

∂

2

1

  

 

 

 

 

(18) 

 

 

 

(2) Implementacja sieci wraz z mechanizmem adaptacji 

 

Schamat uczącej się w trybie on-line sieci neuronowej został pokazany na rysunku poniŜej, 

 

gdzie subsystem n1 jest neuronem ze zmieniającymi się wagami o budowie 

Materiały pomocnicze do przedmiotu Wspomaganie decyzji i metody sztucznej inteligencji – ćwiczenie 03

 

 

Politechnika Łódzka, Instytut Automatyki 

4

 

 

 

 

Bloczki  Unit  Delay  w  polu  Initial  Condition  powinny  mieć  wpisane  wyraŜenie  rand(1).  Odpowiada  to 

początkowym  losowym  wartościom  wag  sieci  neuronowej.  Subsystemy  wi2  i  wi3  niczym  się  nie  róŜnią  od 

subsystemu wi1. Identyczne w budowie są takŜe subsystemu n1, n2, n3, n4.  

 

 

 

 

 

Materiały pomocnicze do przedmiotu Wspomaganie decyzji i metody sztucznej inteligencji – ćwiczenie 03

 

 

Politechnika Łódzka, Instytut Automatyki 

5

Budowę warstwy wyjściowej przedstawia rysunek poniŜej.  

 

 

 

gdzie wagi w1 – w4 zrealizowane są wg schematu  

 

 

 

W ramach zajęć naleŜy: 

- 

sprawdzić jak czas próbkowania wpływa na prace układu 

- 

sprawdzić jak współczynnik uczenia 

η

 wpływ na prace układu 

- 

zmodyfikować algorytm uczenia wag dokładając składnik momentum 

- 

do układu wprowadzić sygnały progowe zadziałania neuronów (biasy)