Funkcje inicjalizacji współczynników wagowych i 

progowych 

Istotny wpływ na efektywność procesu uczenia sieci neuronowych ma odpowiedni 
dobór wstępnych wartości współczynników wagowych i progowych. Pożądany jest 

start z wartości wag zbliżonych do optymalnych, co znacznie przyspiesza proces 

uczenia, a także zmniejsza ryzyko "utknięcia" w niepożądanym minimum lokalnym 

funkcji błędu sieci. Niestety nie istnieje uniwersalna metoda zapewniająca właściwy 

dobór punktu startowego dla wszystkich problemów. Z tego względu w większości 

praktycznych zastosowań wykorzystuje się losowa inicjalizacje współczynników 

wagowych, przyjmując rozkład równomierny w określonym przedziale liczbowym.  

Inite - inicjalizacja współczynników wagowych warstw neuronów z rywalizacja 
(competitive layer) 
Wywołanie: 

W = initc (P,S) 
Argumenty: 
P- macierz wejściowa (wymiar R*2, R - ilość wejść warstwy, należy podać wartość 
minimalna i maksymalną) 

S - ilość neuronów w warstwie 
Wielkości zwracane: 
W - macierz współczynników wagowych (wymiar S*R) 

Initff - inicjalizacja współczynników wagowych sieci jednokierunkowej (do 3 warstw) 
 

W zależności od postaci funkcji aktywacji poszczególnych warstw inicjalizacja 
współczynników wagowych przeprowadzana jest w oparciu o różne przedziały 
liczbowe. Dla liniowych, progowych i radialnych funkcji aktywacji wstępne wartości 
współczynników wagowych losowane są z przedziału [-1,1] 

Wywołanie: 
[W1,B1,W2,B2] = initff (P,S1,'F1',S2,'F2') 
Argumenty: 

P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść sieci, Q - ilość 
wektorów) 
Si - ilość neuronów w i-tej warstwie 

Fi - funkcja aktywacji i-tej warstwy (np. 'tansig') 
T - macierz wektorów wyjściowych (wymiar Sn*Q, Sn - ilość wyjść sieci) 
Wielkości zwracane: 
Wi - macierz współczynników wagowych i-tej warstwy 

Bi - kolumnowy wektor współczynników progowych i-tej warstwy.  

Initlin - inicjalizacja współczynników wagowych warstw neuronów liniowych. 

 
Początkowe wartości współczynników wagowych i progowych dla warstwy neuronów 
linowych generowane są losowo z przedziału [-1,1] 

Wywołanie: 

[W,B] = initlin (R,S) 
[W,B] = initlin (P,T) 
Argumenty: 
R - ilość wejść warstwy 

S - ilość neuronów w warstwie 
P - macierz wektorów wejściowych (wymiar R*Q, R - warstwy) 
Q - liczba wektorów 

T - macierz wektorów wyjściowych (wymiar S*Q, S - ilość wektorów warstwy) 
Wielkości zwracane: 
W - macierz współczynników wagowych warstwy (wymiar S*R) 

B - wektor współczynników progowych warstwy (wymiar S*1) 

 

Funkcje uczące sieci neuronowe 

Funkcje biblioteki wchodzące w skład tej grypy realizują ważny w procesie uczenia 

sieci element, jakim jest określenie przyrostów zmian wartości współczynników 
wagowych i progowych jej neuronów. Przyrosty te powinny posiadać taki znak oraz 
wartość, aby sieć lepiej realizowała odwzorowanie lub lepiej rozróżniała nadchodzące 

do niej bodźce i potrafiła sprawnie grupować je w określone kategorie. 

Learnbp - uczenie warstwy z propagacja wsteczna błędu. 
 

Funkcja ta realizuje fragment algorytmu propagacji wstecznej błędu, który umożliwia 
uczenie nieliniowej wielowarstwowej sieci neuronowej. Zgodnie z tym algorytmem, 
wektor błędu sieci obliczamy dla warstwy wyjściowej rzutowany zostaje wstecz 

poprzez kolejne jej warstwy. Umożliwia to obliczenie nowych wartości 
współczynników wagowych poszczególnych warstw, a w efekcie zmniejszenie 
średniokwadratowego błędu sieci. Funkcja learnbp oblicza przyrosty współczynników 

wagowych i progowych w sposób następujący 

?W(i,j) = lr*d(i)*p(j) 
?B(i) = lr*d(i) 

Oznacza to, że wartość współczynnika wagowego W dla j-tego wejścia i-tego 
neuronu jest zmieniana proporcjonalnie do iloczyny wartości jego sygnału 

wejściowego p(j) i pochodnej błędu d(i). Parametr Lr, zwany współczynnikiem 
prędkości uczenia określa wpływ wartości gradientu błędu warstwy na wartość zmian 
jej współczynników wagowych. 

Wywołanie: 

[dW,dB] = learnbp (P,D,LR) 

Argumenty: 
P - macierz wektorów wejściowych (wymiar R*Q, R- liczba wejść warstwy, Q - ilość 
wektorów) 

D - macierz pochodnych błędów warstwy (wymiar S*R, S - liczba neuronów w 

warstwie) 
LR - współczynnik prędkości uczenia (domyślnie LR=1) 
Wielkości zwracane: 
dW - macierz przyrostów współczynników wagowych warstwy (wymiar S*R) 

dB - wektor przyrostów współczynników progowych warstw (wymiar S*1) 

Learnbpm - uczenie warstwy z propagacja wsteczna błędu i momentum 

            Algorytm zmiany współczynników wagowych sieci w postaci klasycznej, 
realizowanej przez funkcje learnbp posiada kilka wad, wśród których największą jest 

jego wolna zbieżność. Wynika ona m in. Z konieczności  stosowania małych wartości 
współczynnika prędkości uczenia w celu zapewnienia stabilności procesu. Istnieje 
wiele modyfikacji podstawowego algorytmu zmiany wag, wśród nich na uwagę 

zasługuje tzw. Technika momentum, wykorzystywana przez funkcje learnbpm. 
Zgodnie z tą reguła, zmiana wartości współczynników wagowych i progowych dla i -
tego wejścia i - tego neuronu opisana jest zależnością : 

?W(i,j) = mc*?Wp(i,j) + (l-mc)*lr*d(i)*p(j) 

?B(i) = mc*?Bp(i) + (l - mc)*Lr*d(i) 

Parametr mc (tzw. Stała momentum) określa wpływ poprzedniej zmiany wag ?Wp 
i współczynników progowych ?Bp na zmianę dokonywana obecnie. Zastosowanie 

członu momentum przyczynia się do likwidacji zbyt gwałtownych zmian wartości 
funkcji błędu sieci. Umożliwia to bezpieczne zwiększenie wartości współczynnika 
prędkości uczenia Lr. 

Wywołanie:  

[dW,dB] = learnbpm (P,D,LR,MC,dW,dB) 

Argumenty: 
P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść warstwy, Q - 

ilość wektorów), 
D - macierz pochodnych błędów warstwy (wymiar S*Q, S - liczba neuronów w 
warstwie), 

LR - współczynnik prędkości uczenia, 
MC - wartość stałej momentum, 
dW - macierz przyrostów współczynników wagowych warstwy w poprzednim kroku 
(wymiar 

S*R), 
dB - wektor przyrostów współczynników progowych warstwy w poprzednim kroku 
(wymiar 

S*1) 
Wielkości zwracane: 
dW - nowa macierz przyrostów współczynników wagowych warstwy (wymiar S*R), 

dB - nowa macierz przyrostów współczynników progowych warstwy (wymiar S*1) 

Learnlm - uczenie warstwy według algorytmu Levenberga-Marquardta.  

Algorytm propagacji wstecznej w postaci klasycznej wykorzystuje technikę 

największego spadku gradientu. Znacznie większą skuteczność uczenia sieci 
otrzymuje się w oparciu o algorytmy wykorzystujące oprócz gradientu także 
informacje zawarta w hesjanie (macierzy drugich pochodnych) minimalizowanej 
funkcji błędu sieci. Jednym z nich jest algorytm Levenberga-Marquardta, w którym 

dokładna wartość hesjanu zastępuje się jego wartością aproksymowana. Wzór na 
zmianę wartości współczynników wagowych warstwy neuronów wykorzystujący 
algorytm Levenberga-Marquardta wygląda następująco: 

W = (JT J + ?I) -1 JT E 

gdzie: 
J - tzw. macierz Jacobiego (macierz pochodnych wektora błędów sieci względem 
wszystkich współczynników wagowych warstwy 
I - macierz jednostkowa 

E - wektor błędów 
? - tzw. współczynnik Levenberga-Marquardta, zmienny w trakcie uczenia sieci 
Funkcja learnlm oblicza macierz Jacobiego J dla danej macierzy sygnałów 

wejściowych warstwy oraz macierzy tzw. wektorów delta (wektorów pochodnych 
sygnału błędu sieci względem każdego wejścia warstwy). 
Wywołanie: 

J = learnlm (P, D) 

Argumenty: 

P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść warstwy, Q - 
ilość wektorów) 
D - macierz wektorów delta (wymiar S*Q, S - liczba neuronów w warstwie) 

Wielkości zwracane: 
J - macierz Jacobiego o wymiarze Q wierszy na R*S kolumn 

Learnp - uczenie warstwy perceptronowej 

Funkcja ta realizuje fragment algorytmu służącego do dostrajania współczynników 

wagowych warstwy perceptronów, tzn. neuronów z progowa funkcja aktywacji. 
Charakter funkcji aktywacji sprawia, że typowym zastosowaniem perceptronów jest 
podział przestrzeni wektorów wejściowych na określone kategorie. 
Zaimplementowana w funkcji learnp reguła opisująca przyrost wartości 

współczynników wagowych i współczynników progowych w odniesieniu do całej 
warstwy perceptronów z wykorzystaniem przetwarzania wsadowego (batching) 
wygląda następująco: 

W = (T - A)*PT = E*PT 
B = (T - A) (1)T = E 

Macierz wektorów błędu E zdefiniowana została jako różnica macierzy T zawierającej 
kolumnowe wektory zadanych sygnałów wyjściowych warstwy oraz macierzy A, w 
której skład wchodzą kolumnowe wektory aktualnych sygnałów wyjściowych. P jest 
macierzą zawierającą kolumnowe wektory sygnałów wejściowych warstwy. 

Wywołanie: 

[dW, dB] = learn (P, E) 

[dW, dB] = learnp (P, A, T) 

Argumenty: 

P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść warstwy, Q - ilość 
wektorów), 
E - macierz wektorów błędu (wymiar S*Q, S liczba neuronów w warstwie), 

A - macierz aktualnych zerojedynkowych wektorów wyjściowych warstwy (wymiar 
S*Q), 
T - macierz zadanych zerojedynkowych wektorów wyjściowych warstwy (wymiar S 
*Q), 

Wielkości zwracane: 
dW - macierz przyrostów współczynników wagowych warstwy (wymiar S* R), 
dB - wektor przyrostów współczynników progowych warstw (opcjonalnie, wymiar 

S*l), 

Learnpn - uczenie warstwy perceptronowej z normalizacja wektora wejściowego 

Funkcja learnpn realizuje uczenie warstwy perceptronów w sposób podobny jak 
funkcja learnp, jednak przed dokonaniem korekcji wartości współczynnika wagowego 
przeprowadzana jest normalizacja wektora wejściowego. Umożliwia to redukcje liczby 

cykli treningowych w przypadku dużych różnic rozmiarów wektorów wejściowych. 
Reguła ta dla  j-tego wejścia i-tego neuronu warstwy może zostać opisana 
następującym wzorem: 

W(i,j) = e(i) p(j) / || p || 

co oznacza, że wartość współczynnika wagowego dla j-tego wejścia i-tego neuronu 
jest zmieniana proporcjonalnie do iloczynu wartości jego sygnału wejściowego p(j), 
różnicy e(i) miedzy wyjściowym sygnałem zadanym a aktualnym oraz odwrotnie 
proporcjonalnie do normy wektora wejściowego p. 

Wywołanie: 

[dW, dB] = learnpn (W, E) 

Argumenty: 
P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść warstwy, Q - ilość 

wektorów) 
E - macierz wektorów błędu (wymiar S*Q, S - liczba neuronów w warstwie) 
Wielkości zwracane: 

dW - macierz przyrostów współczynników wagowych warstwy (wymiar S* R) 
dB - wektor przyrostów współczynników progowych warstwy (wymiar S*l) 

Learnwh - uczenie warstwy neuronów według tzw. reguły delta (Widrowa - Hoffa) 
Funkcja ta realizuje fragment algorytmu służącego do dostrajania współczynników 
wagowych warstwy neuronów liniowych. Reguła określająca przyrost wartości 
współczynników wagowych i współczynników progowych w odniesieniu do całej 

warstwy liniowej z wykorzystaniem przetwarzania wsadowego (wiele wektorów 
wejściowych i wyjściowych jednocześnie) jest opisana następująco: 

W = lr*(T - A)*PT = lr*E*PT 
B = lr*(T - A)*(l)T = lr*E 

Macierz wektorów błędu E zdefiniowana jest jako różnica macierzy T zawierającej 
kolumnowe wektory zadanych sygnałów wyjściowych warstwy oraz macierzy A, w 
której skład wchodzą kolumnowe wektory aktualnych sygnałów wyjściowych. P jest 

macierzą zawierającą kolumnowe wektory sygnałów wejściowych warstwy, a lr - 
współczynnikiem prędkości uczenia. 
Wywołanie: 

[dW, dB] = learnwh (P, E, LR) 
dW = learnwh (P,E,LR) 

Argumenty: 
P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść warstwy, Q - 
ilość wektorów) 

E - macierz wektorów błędu (wymiar S*Q, S - ilość neuronów w warstwie) 
LR - współczynnik prędkości uczenia 
Wielkości zwracane: 
dW - macierz przyrostów współczynników wagowych warstwy (wymiar S*R) 

dB - wektor przyrostów współczynników progowych warstwy (wymiar S*l) 

 

Funkcje służące do treningu sieci neuronowych 

Działanie funkcji należących do omawianej grupy sprowadza się w większości  
przypadków do wielokrotnego powtarzania sekwencji złożonej z wywołania 
odpowiedniej funkcji uczenia, modyfikacji współczynników wagowych oraz wywołania 

funkcji symulacji sieci w celu obliczenia osiąganego przez nią błędu 
średniokwadratowego. Sekwencja taka nosi nazwę cyklu treningowego (ang. training 
epoch). 

Argumentami wejściowymi funkcji treningowych są: początkowe wartości 
współczynników wagowych i progowych, macierze wektorów wejściowych oraz 
(w przypadku sieci uczonych pod nadzorem) wektorów wejściowych, a także 
opcjonalny wektor parametrów. Działanie funkcji kończy się w momencie osiągnięcia 

przez siec zadanego błędu średniokwadratowego bądź w przypadku przekroczenia 
zadanej liczby cykli treningowych.  
Funkcje treningowe zwracają nowe (wyuczone) wartości współczynników wagowych 

oraz współczynników progowych, a także (opcjonalnie) liczbę przebytych cykli 
treningowych i osiągnięty błąd średniokwadratowy sieci. 

Adaptwh - adaptacyjny trening warstwy neuronów liniowych według reguły delta 
(Widrowa-Hoffa) 
W odróżnieniu od opisanej dalej funkcji trainwh, omawiana funkcja realizuje 
adaptacyjny trening warstwy liniowej. Oznacza to, że zmiana współczynników 

wagowych i współczynników progowych odbywa się po prezentacji każdego wektora 
uczącego, podczas gdy w przypadku funkcji trainwh zmiana ta następuje dopiero po 
zakończeniu cyklu treningowego (po prezentacji wszystkich danych uczących). 

Innymi słowy, funkcja adaptwh realizuje uczenie warstwy liniowej neuronów w 
trakcie jej działania (on-line). 
Wywołanie: 

[A, E, W, B] =adaptwh (W, B, P, T, LR) 

Argumenty: 
W - macierz współczynników wagowych warstwy (wymiar S*R, S - liczba neuronów 
w warstwie, R - ilość wejść warstwy) 
B - wektor współczynników progowych warstwy (wymiar S*1) 

P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść sieci, Q - ilość 
wektorów) 
T - macierz wektorów wyjściowych (wymiar S*Q) 

LR - współczynnik prędkości uczenia (opcjonalny, domyślnie = 0.1) 
Wielkości zwracane: 
A - wektor sygnałów wyjściowych adaptacyjnego filtru liniowego (wymiar 1*Q) 
E - wektor błędu (wymiar l *Q) 

W - macierz nowych współczynników wagowych warstwy (wymiar S*R) 
B - wektor nowych współczynników progowych warstwy (wymiar S*l) 

Trainbp - trening sieci jednokierunkowej (do 3 warstw) z propagacja wsteczna 
błędu 

Trening nieliniowej sieci jednokierunkowej przy użyciu funkcji odbywa 
się z wykorzystaniem opisanej w poprzednim rozdział learnbp. Zastosowanie 
algorytmu propagacji wstecznej w postaci klasy jest jednak przyczyna wielu trudności 

w procesie uczenia sieci (m.in. wolna zbieżność, osiąganie lokalnych minimów funkcji 
błędu). Niedogodne częściowo zostały zlikwidowane w kolejnych wersjach funkcji 
realizm trening sieci w oparciu o algorytm propagacji wstecznej. 
Wywołanie: 

[W, B, TE, TR] = trainbp (W, B, 'F', P, T, TP) 

Argumenty: 
Wi - macierz współczynników wagowych i-tej warstwy (wymiar Si*R, Si - ilość 
neuronów w i-tej warstwie, R - ilość wejść warstwy) 

Bi - wektor współczynników progowych i-tej warstw (wymiar Si*l) 
Fi - funkcja aktywacji i-tej warstwy (np. 'logsig') 
P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść sieci, Q - ilość 
wektorów) 

T - macierz zadanych wektorów wyjsciowych (wymiar S*Q, S - liczba wyjsc sieci) 

TP - wektor parametrów (opcjonalny): 
TP(1) - częstotliwość aktualizacji wykresu błędu sieci (w cyklach, domyślnie = 25) 
TP(2) - maksymalna liczba cykli treningowych (domyślnie 100) 
TP(3) - graniczny błąd średniokwadratowy) sieci (domyślnie = 0.02) 

TP(4) - współczynnik prędkości uczenia (domyślnie = 0.01) 
Wielkości zwracane: 
Wi - macierz nowych współczynników wagowych i-tej warstwy (wymiar Si * R) 

Bi - wektor nowych współczynników progowych warstwy (wymiar Si*l) 
TE - liczba przebytych cykli treningowych 
TR - średniokwadratowy bład sieci 

Trainbpa - trening sieci jednokierunkowej (do 3 warstw) z wsteczna propagacja 
błędu i adaptacyjnym doborem współczynnika prędkości uczenia 

Przyjęcie stałej wartości współczynnika prędkości uczenia ogranicza efektywność 
działania sieci, gdyż nie uzależnia wartości współczynników wagowych sieci od 
aktualnej wartości gradientu funkcji gradientu Ponadto przy małych wartościach 

współczynnika uczenie jest bardzo wolne; w przypadku zbyt dużej - algorytm może 
stać się niestabilny. Omawiana funkcja realizuje trening sieci jednokierunkowej z 
zastosowaniem techniki adaptacyjnej zmiany wartości współczynnika prędkości 

uczenia. 
Wywołanie: 

[W, B, TE, TR] = trainbpa (W, B, 'F', P, T, TP) 

Argumenty: 
Jak dla funkcji trainbp 

Dodatkowe parametry wektora parametrów: 
TP(5) - współczynnik wzrostu prędkości uczenia (domyślnie 1.05) 
TP(6) - współczynnik redukcji prędkości uczenia (domyślnie = 0.7) 

TP(7) - maksymalna wartość współczynnika błędu (domyślnie = 1.04) 
Wielkości zwracane: 
Jak dla funkcji trainbp 

Tainbpm - trening sieci jednokierunkowej (do 3 warstw) z propagacja wsteczna 
błędu i członem momentum 

W porównaniu z funkcja trainbp omawiana funkcja rozszerzona została dodatkowo 
o wykorzystanie tzw. techniki momentum, przedstawionej w poprzednim rozdziale 
przy okazji omawiania funkcji learnbpm. 

Wywołanie: 

[W, B, TE, TR] = trainbpm (W, B, 'F', P, T, TP) 

Argumenty: 
Jak dla funkcji trainbp 

Dodatkowe elementy wektora parametrów: 
TP(5) - stała momentum (domyślnie = 0.9) 

TP(6) - maksymalna wartość współczynnika błędu (domyślnie = l .04 ) 
Wielkości zwracane: 
Jak dla funkcji trainbp 

Trainbpx - trening sieci jednokierunkowej (do 3 warstw) z tzw. szybka propagacja 
wsteczna błędu  

Funkcja przeprowadza trening nieliniowej sieci jednokierunkowej z zastosowaniem 
obydwu uprzednio omawianych technik, tzn. adaptacyjnej zmiany współczynnika 
prędkości uczenia oraz członu momentum. W efekcie uczenie sieci trwa znacznie 

krócej, a prawdopodobieństwo utknięcia w lokalnym minimum funkcji błędu sieci 
zostaje zmniejszone. 
Wywołanie: 

[W, B, TE, TR] = trainbpm (W, B, 'F', P, T, TP) 

Argumenty: 

Jak dla funkcji trainbp 
Dodatkowe elementy wektora parametrów: 
TP(5) - współczynnik wzrostu prędkości uczenia (domyślnie = l.05) 

TP(6) - współczynnik redukcji prędkości uczenia (domyślnie = 0.7) 
TP(7) - stała momentum (domyślnie = 0.9) 
TP(8) - maksymalna wartość współczynnika błędu (domyślnie = l.04) 

Wielkości zwracane: 
Jak dla funkcji trainbp 

Trainlm - trening sieci jednokierunkowej (do 3 warstw) według algorytmu 

Levenberga- 
Marquardta 

Funkcja realizuje uczenie sieci w oparciu o optymalizacyjny algorytm Levenberga-
Marquardta, z wykorzystaniem opisanej w poprzednim rozdziale funkcji learnlm. 
Trening sieci zajmuje znacznie mniej czasu niż w przypadku klasycznego algorytmu 

największego spadku, jednak znacznie rosną wymagania co do wykorzystywanej 
pamięci operacyjnej (większa jest złożoność obliczeniowa zadania). 
Wywołanie: 

[W, B, TE, TR] = trainlm (W, B, 'F', P, T, TP) 

Argumenty: 

Jak dla funkcji trainbp 
Wektor parametrów TP posiada następujące elementy: 
TP(1) - częstotliwość aktualizacji wykresu błędu sieci (w cyklach, domyślnie = 25) 

TP(2) - maksymalna liczba cykli treningowych (domyślnie = 100) 
TP(3) - graniczny błąd średniokwadratowy sieci (domyślnie = 0.02) 
TP(4) - minimalny gradient funkcji błędu sieci (domyślnie = 0.0001) 

TP(5) - początkowa wartość współczynnika ? (domyślnie = 10) 
TP(6) - mnożnik służący do zwiększania wartości współczynnika ? (domyślnie = 10) 

TP(7) - mnożnik służący do zmniejszania wartości współczynnika ? (domyślnie = 0.1 
) 
TP(8) - maksymalna wartość współczynnika ? (domyślnie = lEl0) 
Wielkości zwracane: 

Jak dla funkcji trainbp 

Trainp - trening warstwy neuronów według reguły perceptronowej 

Funkcja realizuje trening warstwy perceptronów w oparciu o opisana w poprzednim 
rozdziale funkcje learnp. 

Wywołanie: 

[W, B, TE, TR] = trainp (W, B, P, T,TP) 

Argumenty: 
W - macierz współczynników wagowych warstwy (wymiar S*R, S - liczba neuronów 
w warstwie, R - ilość wejść warstwy) 

B - wektor współczynników progowych warstwy (wymiar S * 1) 
P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść sieci, Q - ilość 
wektorów wejściowych) 

T - macierz zerojedynkowych wektorów wyjściowych (wymiar S*Q, S - liczba wyjść 
sieci) 
TP - wektor parametrów (opcjonalny): 

TP(1) - częstotliwość aktualizacji wykresu błędu sieci (w cyklach, domyślnie = l) 
TP(2) - maksymalna liczba cykli treningowych (domyślnie = 100) 
Wielkości zwracane: 
W - macierz nowych współczynników wagowych warstwy (wymiar S*R) 

B - wektor nowych współczynników progowych warstwy (wymiar S*l) 
TE - liczba przebytych cykli treningowych 
TR - średniokwadratowy błąd sieci 

Trainpn - trening warstwy neuronów według znormalizowanej reguły 
perceptronowej 

Funkcja realizuje trening warstwy perceptronów w oparciu o opisana w poprzednim 
rozdziale funkcje learnpn. 
Wywołanie: 

[W, B, TE, TR] = trainpn (W, B, P, T,TP) 

Argumenty: 
Jak dla funkcji trainp 
Wielkości zwracane: 

Jak dla funkcji trainp 

Trainwh - trening warstwy neuronów liniowych według reguły delta (Widrowa-

Hoffa) 

Funkcja realizuje trening warstwy neuronów liniowych w oparciu o opisana 
w poprzednim rozdziale funkcje learnwh. 
Wywołanie: 

[W,B,TE,TR]=trainwh(W,B,P,T,TP,WV,BV,ES) 

Argumenty: 

W - macierz współczynników wagowych warstwy (wymiar S*R, S - liczba neuronów 
w warstwie, R - ilość wejść warstwy) 
B - wektor współczynników progowych warstwy (wymiar S*l) 

P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść sieci, Q - ilość 
wektorów wejściowych) 
T - macierz wektorów wyjściowych (wymiar S*Q, S - liczba wyjść sieci) 

WV - wektor współczynników wagowych 
BV - wektor współczynników probowych 
ES - wstępnie obliczona macierz błędów (opcjonalnie) 
TP - wektor parametrów (opcjonalny): 

TP(l) - częstotliwość aktualizacji wykresu błędu sieci (w cyklach, domyślnie = 1) 
TP(2) - maksymalna liczba cykli treningowych (domyślnie = 100) 
TP(3) - graniczny błąd średniokwadratowy sieci (domyślnie = 0.02) 

TP(4) - współczynnik prędkości uczenia (domyślna wartość zwracana przez funkcje 
maxlinlr) 
Wielkości zwracane: 
W - macierz nowych współczynników wagowych warstwy (wymiar S*R) 

B - wektor nowych współczynników progowych warstwy (wymiar S*l) 
TE - liczba przebytych cykli treningowych 
TR - średniokwadratowy błąd sieci 

Funkcje służące do projektowania sieci neuronowych 

Funkcje należące do tej grupy znajdują zastosowanie w przypadku, gdy  
współczynniki wagowe sieci nie są otrzymywane w wyniku jej treningu, lecz 
arbitralnie ustalane na etapie projektowania. 

Solvelin - projektowanie liniowej warstwy neuronów 

Wartości współczynników wagowych oraz progowych minimalizujące 
średniokwadratowy błąd liniowej warstwy neuronów mogą zostać uzyskane zarówno 
w wyniku jej uczenia, jak i obliczone bezpośrednio. O ile opisana w poprzednim 

rozdziale funkcja trainwh realizuje w sposób iteracyjny trening warstwy liniowej, o 
tyle funkcja solvelin rozwiązuje bezpośrednio dane równanie macierzowe ze względu 
na nieznana macierz wag i wektor współczynników progowych wykorzystując 
operator / (dzielenia) 

Wywołane: 

[W,B]=solvelin(P,T) 

Argumenty: 
P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść sieci, Q - ilość 
wektorów wejściowych) 
T - macierz wektorów wyjściowych (wymiar S*Q, S - liczba wyjść sieci) 

Wielkości zwracane: 
W - macierz współczynników wagowych warstwy (wymiar S*R) 
B - wektor współczynników progowych warstwy (wymiar S* 1) 

Funkcje służące do symulacji działania sieci neuronowych 

Podobnie jak funkcje realizujące trening sieci, także funkcje symulujące ich działanie 
umożliwiają tzw. przetwarzanie wsadowe (ang. batching), tzn. jednoczesna 
prezentacje wielu wektorów wejściowych i otrzymywanie odpowiednich wektorów 

sygnałów wyjściowych sieci. Argumentami omawianej grupy funkcji są w większości 
przypadków uzyskane w wyniku treningu bądź projektowania sieci macierze 
współczynników wagowych i wektory współczynników progowych odpowiednich 

warstw oraz macierz wektorów wejściowych sieci. W wyniku otrzymuje się macierze 
zawierające odpowiednie wektory sygnałów wyjściowych sieci (względnie jej 
poszczególnych warstw). 

Simuff - symulacja sieci jednokierunkowej (do 3 warstw) 

Wywołanie: 

A=simuff( P ,W,B,'F') 

Argumenty: 
P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść sieci, Q - ilość 
wektorów wejściowych) 

Wi - macierz współczynników wagowych i-tej warstwy (wymiar Si*T, Si - ilość 
neuronów w i-tej warstwie, T - ilość wejść warstwy) 
Bi - wektor współczynników progowych i-tej warstwy (wymiar Si*l) 
Fi - funkcja aktywacji i-tej warstwy, np. 'logsig' 

Wielkości zwracane: 
A - wektor sygnałów wyjściowych i-tej warstwy (wymiar Si*l) 

Simup - symulacja warstwy perceptronowej 

Wywołanie: 

A = simup (P, W, B) 

Argumenty: 
P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść warstwy. Q - liczba 
wektorów) 
W - macierz współczynników wagowych warstwy (wymiar S*R, S - liczba neuronów 

w warstwie) 
B - wektor współczynników progowych warstwy (wymiar S * l) 

Wielkości zwracane: 
A - wektor sygnałów wyjściowych warstwy (wymiar S*l) 

Funkcje aktywacji warstw neuronowych 

Potencjał neuronu, tzn. iloczyn wektora sygnałów wejściowych i transponowanego 

wektora współczynników wagowych przetwarzany jest przez blok aktywacji, który 

w zależności od potrzeb może być opisany różnymi funkcjami. W skład biblioteki 

wchodzi dziewięć wyszczególnionych poniżej funkcji aktywacji, jednak w miarę 

potrzeb grupę tę można rozbudowywać o kolejne funkcje. 

Compet - funkcja rywalizacji 
Hardlim - funkcja progowa (skoku jednostkowego) 

Hardlims - symetryczna funkcja progowa (signum) 
Logsig - funkcja sigmoidalna 
Purelin - funkcja liniowa 

Radbas - funkcja radialna (bazowa Gaussa) 
Satlin - funkcja liniowa z nasyceniem 
Satlins - symetryczna funkcja liniowa z nasyceniem 

Tansig - funkcja tangens hiperboliczny 

Funkcje graficzne 

Funkcje tej grupy umożliwiają przeprowadzenie graficznej ilustracji procesu uczenia 

sieci, wizualizacje wektorów wejściowych, wyjściowych oraz wartości współczynników 

wagowych. Z reguły wykorzystywane są one przez inne funkcje biblioteki oraz m-pliki 

demonstracyjne, jednak możliwe jest bezpośrednie wykorzystanie ich przez 

użytkownika. 

 
Barerr - tworzenie słupkowego wykresu błędów 
Hintonw - tworzenie diagramu Hintona dla współczynników wagowych 

Hintonwb - tworzenie diagramu Hintona dla współczynników wagowych i 
progowych 
Plotep - rysowanie aktualnego położenia wagowego i progowego na powierzchni 

błędu utworzonej przez funkcje plotes 
Plotes - rysowanie powierzchni błędu 
Ploterr - tworzenie wykresu średniokwadratowego błędu sieci w funkcji cyklu 
uczenia 

Plotfa - tworzenie wykresu zadanych i aktualnych wektorów wyjściowych sieci 
Plotlr - tworzenie wykresu predkosci uczenia sieci w funkcji cykli treningowych 
Plotsm - tworzenie wykresu wektorów wagowych sieci samoorganizującej się 

Plotpc - dodanie linii klasyfikacyjnych do wykresu utworzonego przy pomocy funkcji 
Plotpv - tworzenie wykresu wektorów wejściowych sieci perceptronowej wraz 
z zerojedynkowymi wektorami celu 

Plotvec - tworzenie wykresu wektorów 

  

Funkcje realizujące generatory liczbowe 

Funkcje należące do omawianej grupy wykorzystywane są w większości przypadków 

przez funkcje inicjalizacyjne, generujące początkowe wartości współczynników 
wagowych i progowych warstw neuronowych. 

Midpoint - generator wartosci srodkowej 
Nwlog - losowy generator Nguyena-Widrowa dla warstwy neuronów sigmoidalnych 
Nwtan - losowy generator Nguyena-Widrowa dla warstwy neuronów 
tangensoidalnych 

Randnc - generator macierzy współczynników wagowych o znormalizowanych 
kolumnach 
Randnr - generator macierzy współczynników wagowych o znormalizowanych 

wierszach 
Rands - symetryczny generator losowy 

 

Nowe funkcje tworzące sieci neuronowe 

(New Networks Functions NNT 4.0) 

Newff - tworzy siec jednokierunkowa ze wsteczna propagacja błędu 
Wywołanie: 

net = newff (PR, [S1 S2...SNl], {TF1 TF2...TFNl}, BTF, BLF, PF) 

Argumenty: 
PR - Macierz minimalnych i maksymalnych wartości dla R wejściowych elementów 
(wymiar Rx2) 

Si - Rozmiar warstwy, dla Nl warstw 
Tfi - Funkcja przejścia dla każdej warstwy, domyślnie = 'tansig' 
BTF - Funkcja trenująca siec z propagacja wsteczna, domyślnie = 'traingdx' 

BLF - Funkcja ucząca wagi/biasy sieci z propagacja wsteczna, domyślnie = 'learngdm' 
PF - Przykładowa funkcja błędu, domyślnie = 'mse' 
Wielkości zwracane: 
Funkcja zwraca N warstwowa siec neuronowa z propagacja wsteczna 

Newfftd - tworzy siec jednokierunkowa z opóźnieniem wejść, z wsteczna propagacja 
Wywołanie: 

net = newfftd (PR, ID, [S1 S2...SNl], {TF1 TF2...TFNl}, BTF, BLF, PF) 

Argumenty: 
ID - wektor opóźnienia wejść 
Pozostałe jak dla funkcji newff 
Wielkości zwracane: 

Funkcja zwraca N warstwowa siec neuronowa z propagacja wsteczna 

Newlin - tworzy liniowa warstwę neuronów 
Wywołanie: 

net = newlin (PR, S, ID, LR) 

Argumenty: 
PR - Macierz minimalnych i maksymalnych wartości dla R wejściowych elementów 

(wymiar Rx2) 
S - Liczba neuronów 
TF - Funkcja aktywacji, domyślnie = 'hardlim' 

LF - Funkcja ucząca, domyślnie = 'learnp' 
 
Wartości zwracane: 

Funkcja zwraca gotowy perceptron 

Funkcje uczące sieci neuronowe (NNT 4.0)  

Learncon - uczenie "sumienne" biasu warstwy neuronów 
Wywołanie: 

[dB, LS] = learncon (B, P, Z, N, A, T, E, gW, gA, D, LP, LS) 

Argumenty: 

B - macierz wektorów biasów (wymiar S*1) 
P - macierz wektorów wejściowych 
Z - macierz wektorów wejściowych wag (wymiar S*Q) 

N - macierz wektorów wejściowych sieci (wymiar S*Q) 
A - macierz wektorów wyjściowych (wymiar S*Q) 
T - macierz zadanych wektorów wyjściowych warstwy (wymiar S *Q) 
E - macierz wektorów błędu (wymiar S*Q) 

gW - SxR gradient with respect to performance 
gA - SxQ output gradient with respect to performance 
D - macierz odległości pomiędzy neuronami (wymiar SxS) 

LP - parametry uczące 
LS - współczynnik uczenia 
Wielkości zwracane: 
dB - wektor przyrostów współczynników progowych warstwy (wymiar S*l) 

LS - Nowa wartość współczynnika uczenia 

Learngd - uczenie warstwy neuronów metoda spadku gradientu 

Wywołanie: 

[dW, LS] = learngd (W, P, Z, N, A, T, E, gW, gA, D, LP, LS) 

[db, LS] = learngd (b-ones (1, Q), Z, N, A, T, E, gW, gA, D, LP, LS) 

Argumenty: 

W - macierz wartości wag (wymiar SxR) lub wektor biasu (wymiar Sx1) 
P - macierz wektorów wejściowych (wymiar RxQ) 

Z - macierz wektorów wejściowych wag (wymiar S*Q) 
N - macierz wektorów wejściowych sieci (wymiar S*Q) 
A - macierz wektorów wyjściowych (wymiar S*Q) 
T - macierz zadanych wektorów wyjściowych warstwy (wymiar S*Q) 

E - macierz wektorów błędu (wymiar S*Q) 
gW - SxR gradient with respect to performance 
gA - SxQ output gradient with respect to performance 

D - macierz odległości pomiędzy neuronami (wymiar SxS) 
LP - parametry uczące 
LS - współczynnik uczenia 

Wielkości zwracane: 
dW - zmieniona macierz wartości wag (wymiar SxR) lub biasu 
LS - nowa wartość współczynnika uczenia 

Learngdm - uczenie warstwy neuronów metoda spadku gradientu i metoda 
momentum 
Wywołanie: 

[dW, LS] = learngdm (W, P, Z, N, A, T, E, gW, gA, D, LP, LS) 
[db, LS] = learngdm (b, ones (1, Q), Z, N, A, T, E, gW, gA, D, LP, LS) 

Argumenty: 
Jak dla funkcji learngd 

Wartości zwracane: 
Jak dla funkcji learngd 

Learnp - uczenie warstwy perceptronowej 

Wywołanie: 

[dW, LS] = learnp (W, P, Z, N, A, T, E, gW, gA, D, LP, LS) 

[db, LS] = learnp (b-ones(1, Q), Z, N, A, T, E, gW, gA, D, LP, LS) 

Argumenty: 

Jak dla funkcji learngd 
Wartości zwracane: 
Jak dla funkcji learngd 

Learnpn - uczenie warstwy perceptronowej z normalizacja wektora wejsciowego 
Wywołanie: 

[dW, LS] = learnpn (W, P, Z, N, A, T, E, gW, gA, D, LP, LS) 

Argumenty: 

Jak dla funkcji learngd 
Wartości zwracane: 
Jak dla funkcji learngd 

Learnwh - uczenie warstwy neuronów według tzw. reguły delta (Widrowa - Hoffa) 
Wywołanie: 

[dW, LS] = learnwh (W, P, Z, N, A, T, E, gW, gA, D, LP, LS) 
[db, LS] = learnwh (b, ones(1, Q), Z, N, A, T, E, gW, gA, D, LP, LS) 

Argumenty: 

Jak dla funkcji learngd 
Wartości zwracane: 
Jak dla funkcji learngd 

Funkcje służące do treningu sieci neuronowych (NNT 4.0)  

Traingd - trening metoda wstecznej propagacji błędu ze spadkiem gradientu 
Wywołanie: 

[net, TR, Ac, El] = traingd (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Argumenty: 
net - trenowana siec neuronowa 

Pd - macierz wektorów wejściowych 
Tl - macierz wektorów wzorcowych 
Ai - initial input conditions 

Q - liczba wektorów 
TS - ilosc kroków uczenia 
VV - pusta macierz [] lub macierz wektorów walidacyjnych 

TV - pusta macierz [] lub struktura wektorów testowych 
Parametry: 
net.trainParam.epochs - maksymalna liczba powtórzeń w treningu (domyślnie = 10) 
net.trainParam.goal - współczynnik błędu (domyślnie = 0) 

net.trainParam.lr - współczynnik prędkości uczenia (domyślnie = 0.01) 
net.trainParam.max_fail - ilość błędnych powtórzeń (domyślnie = 5) 
net.trainParam.min_grad - minimalny błąd gradientowy (domyślnie = 1e-10) 

net.trainParam.show - ilość powtórzeń pomiędzy przedstawieniem wyniku (domyślnie 
= 25) 
net.trainParam.time - maksymalny czas treningu w sekundach (domyślnie = inf) 
Wartości zwracane: 

net - wytrenowana siec neuronowa 
TR - najlepsze wyniki z poszczególnych epok 
TR.epoch - liczba epok (powtórzeń) 

TR.perf - rezultat treningu. 
TR.vperf - rezultat uaktualnień 
TR.tperf - rezultat testu 

Ac - zbiorowy rezultat wyjść z ostatniej epoki 
El - błędy uzyskane w ostatnim powtórzeniu 

Tranigda - adaptacyjny trening metoda wstecznej propagacji błędu ze spadkiem 
gradientu 
Wywołanie: 

[net, TR, Ac, El] = traingda (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Traingdm - trening metoda wstecznej propagacji błędu ze spadkiem gradientu i 

momentum 
Wywołanie: 

[net, TR, Ac, El] = traingdm (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Pozostałe parametry wejściowe i wyjściowe jak dla funkcji traingd. 

Traingdx - adaptacyjny trening metoda wstecznej propagacji błędu ze spadkiem 
gradientu i momentum 

Wywołanie: 

[net, TR, Ac, El] = traingdx (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Pozostałe parametry wejściowe i wyjściowe jak dla funkcji traingd. 

Trainrp - resilient backpropagation 

Wywołanie: 

[net, TR, Ac, El] = trainrp (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Argumenty: 
Jak dla funkcji traingd 

Parametry: 
net.trainParam.epochs - maksymalna liczba powtórzeń w treningu (domyślnie = 10) 
net.trainParam.goal - współczynnik błędu (domyślnie = 0) 
net.trainParam.lr - współczynnik prędkości uczenia (domyślnie = 0.01) 

net.trainParam.max_fail - ilość błędnych powtórzeń (domyślnie = 5) 
net.trainParam.min_grad - minimalny błąd gradientowy (domyślnie = 1e-10) 
net.trainParam.show - ilość powtórzeń pomiędzy przedstawieniem wyniku (domyślnie 

= 25) 
net.trainParam.time - maksymalny czas treningu w sekundach (domyślnie = inf) 
net.trainParam.delt_inc - inkrementacja zmiany wag (domyślnie = 1.2) 

net.trainParam.delt_dec - dekrementacja zmiany wag (domyślnie = 0.5) 
net.trainParam.delta0 - początkowa zmiana wag (domyślnie = 0.07) 
net.trainParam.deltamax - maksymalna zmiana wag (domyślnie = 50.0) 
Wartości zwracane: 

Jak dla funkcji traingd 

Trainoss - one step secant backpropagation 

Wywołanie: 

[net, TR, Ac, El] = trainoss (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Pozostałe parametry wejściowe i wyjściowe jak dla funkcji traingd. 

Traincgp - trening metoda gradientu sprzężonego według Polaka - Ribiery 
Wywołanie: 

[net, TR, Ac, El] = traincgp (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Pozostałe parametry wejściowe i wyjściowe jak dla funkcji traingd. 

Traincgb - trening metoda gradientu sprzężonego według Powella - Bealea 
Wywołanie: 

[net, TR, Ac, El] = traincgb (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Pozostałe parametry wejściowe i wyjściowe jak dla funkcji traingd. 

Traincgf - trening metoda gradientu sprzężonego według Fletchera - Powella 

Wywołanie: 

[net, TR, Ac, El] = traincgf (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Pozostałe parametry wejściowe i wyjściowe jak dla funkcji traingd. 

Trainscg - trening metoda gradientu sprzężonego z regularyzacją 

Wywołanie: 

[net, TR, Ac, El] = trainscg (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Argumenty: 
Jak dla funkcji traingd 

Parametry: 
net.trainParam.epochs - maksymalna liczba powtórzeń w treningu (domyślnie = 10) 
net.trainParam.goal - współczynnik błędu (domyślnie = 0) 
net.trainParam.lr - współczynnik prędkości uczenia (domyślnie = 0.01) 

net.trainParam.max_fail - ilość błędnych powtórzeń (domyślnie = 5) 
net.trainParam.min_grad - minimalny błąd gradientowy (domyślnie = 1e-10) 
net.trainParam.show - ilość powtórzeń pomiędzy przedstawieniem wyniku (domyślnie 

= 25) 
net.trainParam.sigma - determinacja zmiany wag dla drugiej pochodnej (domyślnie = 
5.0e-5) 

net.trainParam.lambda - parametr regularyzacji (domyślnie = 5.0e-7))) 
Wartości zwracane: 
Jak dla funkcji traingd 

Trainbfg - trening metoda wstecznej propagacji według Newtona 
Wywołanie: 

[net, TR, Ac, El] = trainbfg (net, Pd, Tl, Ai, Q, TS, VV, TV) 

Pozostałe parametry wejściowe i wyjściowe jak dla funkcji traingd. 

 

Funkcje aktywacji (NNT 4.0) 

Compet - funkcja rywalizacji 
Hardlim - funkcja progowa (skoku jednostkowego) 

Hardlims - symetryczna funkcja progowa (signum) 
Logsig - funkcja sigmoidalna 
Purelin - funkcja liniowa 

Radbas - funkcja radialna (bazowa Gaussa) 
Satlin - funkcja liniowa z nasyceniem 
Satlins - symetryczna funkcja liniowa z nasyceniem 
Tansig - funkcja tangens hiperboliczny 

Poslin - Positive linear transfer function 
Softmax - Soft max transfer function 
Tribas - Triangular basis transfer function