1

Sieci Neuronowe i Uczenie Maszynowe:

próba integracji

:áRG]LVáDZ'XFK .DURO*UXG]LVNL

.DWHGUD0HWRG.RPSXWHURZ\FK8QLZHUV\WHW0LNRáDMD.RSHUQLNDXO*U

u-

G]LG]ND7RUX

E-mail:{duch, kagru}@phys.uni.torun.pl

Abstrakt

0HWRG\ RSDUWH QD RFHQLH SRGRELHVWZD NODV\ILNRZDQ\FK SU]\SDGNyZ GR SU]\SDGNyZ

Z]RUFRZ\FKGDMF] VWRGRVNRQDáHUH]XOWDW\LPDMOLF]QH]DOHW\2JyOQ\VFKHPDWG]LDáa-

QLDPHWRGRSDUW\FKQDSRGRELHVWZLHRSDUW\MHVWQDSDUDPHWU\]DFMLSUDZGRSRGRELHVWZD

NODV\ILNDFMLLXZ]JO GQLDZ\EyUZHNWRUyZUHIHUHQF\MQ\FKRSW\PDOL]DFM LFKSRáR*HQLDL

VNDORZDQLHLFKZSá\ZXZ\EyUIXQNFMLRFHQLDMFHMSRGRELHVWZRIXQNFMLNRV]WXVSRVo-

EX XUHGQLDQLD Z\QLNyZ ORNDOQ\FK PRGHOL VHOHNFM  FHFK L ZLHOH LQQ\FK SURFHGXU =a-
równo sieci neuronowe typu radialnych funkcji bazowych jak i typowe perceptrony wie-

ORZDUVWZRZHVWDQRZLV]F]HJyOQHSU]\SDGNLWHJRVFKHPDWX6FKHPDWWHQSR]ZDODUyw-

QLH*QDWZRU]HQLHQRZ\FKPHWRGNODV\ILNDFMLLDSURNV\PDFMLPLHG]\LQQ\PLPHWRGSo-

VLDGDMF\FKQDWXUDOQUHDOL]aFM ZSRVWDFLVLHFLneuropodobnych.

1. Wprowadzenie

.ODV\ILNDFMD MHVW MHGQ\P ] JáyZQ\FK ]DVWRVRZD V\VWHPyZ LQWHOLJHQWQ\FK 0R*QD GR QLHM

VSURZDG]Lü ZLHOH LQQ\FK ]DVWRVRZD WDNLFK MDN UR]SR]QDZDQLH RELHNWyZ GLDJQR]RZDQLH

DXWRLKHWHURDVRFMDFM DQDZHWDSURNV\PDFM ZJUDQLF\QLHVNRF]RQHMOLF]E\NODV%DGDQLD

HPSLU\F]QHZLHOXNODV\ILNDWRUyZVWDW\VW\F]Q\FKLQGXNFMLUHJXáGU]HZGHF\]MLVLHFLQHXUo-
nowych,

PLQLPDOQRRGOHJáRFLRZ\FKLWGZ]DVWRVRZDQLXGROLF]Q\FKED]GDQ\FKZ\NRQDQH

np. w ramach projektu STATLOG (Michie i inni 1994) lub w pracy Rhowera i Morcinca

SRND]XM*HQLHPDMHGQHJRXQLZHUVDOQHJRNODV\ILNDWRUDQDMOHSV]HJRGODZV]\VWNLFK

GDQ\FK±GODND*GHJRNODV\ILNDWRUDPR*QD]QDOH(ü]ELyUGDQ\FKGODNWyUHJRUH]XOWDW\E G

GRVNRQDáHMDNLWDNLGODNWyUHJRZ\QLNLE GVáDEH:VND]XMHWRQDNRQLHF]QRüRSUDFRZDQLD

PHWRGRORJLLRFHQ\V\VWHPyZNODV\ILNXMF\FKJG\*F] VWRUH]XOWDW\SRGDZDQHVGODMHGQHJR

Z\EUDQHJR]ELRUXGDQ\FKGODNWyUHJRX]\VNDQRGREUHZ\QLNL&] VWRPHWRG\RSDUWHQDSo-

GRELHVWZLHGRNWyU\FKQDOH*\PHWRGDQDMEOL*V]\FKVVLDGyZk11G]LDáDMOHSLHMRGLn-
nych. Np. w projekcie STATLOG (Michie i inni 1994) w jednej trzeciej przypadków metoda
k-NN daje najlepsze lub prawie najlepsze rezultaty i to dla k=1 bez optymalizacji k. Algorytm
k

11MHVW]DWHPFHQQPHWRGL]HZ]JO GXQDVZRMDSURVWRW SRZLQLHQE\üX*\ZDQ\MDNR

PHWRGD UHIHUHQF\MQD GOD LQQ\FK NODV\ILNDWRUyZ 7\PF]DVHP WUXGQR MHVW ]QDOH(ü GREU\ SUo-

JUDPUHDOL]XMF\WPHWRG QLHEUDNXMHQDWRPLDVWGDUPRZ\FKLNRPHUF\MQ\FKV\PXODWRUyZ
neuronowych.

0HWRGD QDMEOL*V]\FK VVLDGyZ PD OLF]QH ]DVWRVRZDQLD Z UR]SR]QDZDQLX Z]RUFyZ pattern
recognition) i budowie systemów ekspertowych opartych na prototypach (case-based reason-
ing expert systems). Algorytm k

11MHVWWDNSRSXODUQ\*HZV]WXF]QHMLQWHOLJHQFMLSRGHMFLH

2

oparte na tym modelu nazywane jest instance-based reasoning (prototypy w bazie danych

PDMSRVWDüZHNWRUyZOLF]EREOLF]DVL RGOHJáRFLRGZV]\VWNLFKZHNWRUyZ±PHWRGDbrute-
force), memory-based reasoning

ZW\PSRGHMFLXNáDG]LHVL QDFLVNQD]RUJDQL]RZDQLHED]\

WUHQLQJRZHMZSDPL FLZSRVWDFLGU]HZDLQDV]XNDQLHRELHNWyZZSDPL FLZFHOXSU]\VSLe-

V]HQLD G]LDáDQLD V\VWHPX SRVáXJXMF VL  UyZQROHJá\PL WHFKQLNDPL SURJUDPRZDQLD RUD]
case-based reasoning

SURWRW\S\PDMSRVWDüVNRPSOLNRZDQ\FKVWUXNWXUGDQ\FK±QDMF] FLHM

RELHNWyZLVSU]HFKRZ\ZDQHZZ\VSHFMDOL]RZDQ\FKED]DFKGDQ\FKZ\NRU]\VWXMHVL ZLe-

G] RJyOQRQDWXU]HSUREOHPXdomain knowledge RUD]ZEDUG]LHM]áR*RQ\FKV\VWHPDFK

VáDER MHV]F]H UR]ZLQL W WHFKQLN  DGDSWDFML SURWRW\SX QDMEDUG]LHM SRGREQHJR GR SU]\SDGNX
nieznanego).

0HWRG\RSDUWHQDSRGRELHVWZLHSimilarity-Based Methods, SBMUR]ZLMDá\VL GRW\FKF]DV

QLH]DOH*QLH RG VLHFL QHXURQRZ\FK L LQQ\FK PHWRG SU]\GDWQ\FK GR NODV\ILNDFML : ]QDF]QHM

PLHU]HZ\QLNDWR]RGPLHQQ\FK(UyGHá]MDNLFKZ\ZRG]VL WHPHWRG\MHGQDN*HSUyED]Uo-

]XPLHQLD]ZL]NyZSRPL G]\QLPLLLQWHJUDFMLUy*Q\FKPHWRGXF]HQLDVL ]GDQ\FKZ\GDMH

VL E\üEDUG]RRELHFXMFD3RQLHZD*QLHXGDáRVL GRW\FKF]DV]QDOH(üWDNLHMFKDUDNWHU\VW\NL

GDQ\FKNWyUDSR]ZROLáDE\QDRNUHOHQLHMDNLHPHWRG\E GVL QDMOHSLHMQDGDZDüGRLFKNOa-

V\ILNDFMLQDOH*\]DSURSRQRZDüLQQHSRGHMFLHJZDUDQWXMFHZ\QLNLNWyUHSRZLQQ\E\üQLe-

UR]Uy*QLDOQHSU]\VWDW\VW\F]QHMRFHQLHGRNáDGQRFLRGQDMOHSV]\FKPR*OLZ\FKGRRVLJQL -

FLDZGDQ\PSU]\SDGNXZ\QLNyZ3URSRQRZDQDWXPHWRGRORJLDSROHJDQDX*\FLXVFKHPDWX

PHWRG 6%0 R Z]UDVWDMF\P VWRSQLX NRPSOLNDFML : SU]HVWU]HQL ZV]\VWNLFK PHWRG MDNLH

PR*QDZ\JHQHURZDüZUDPDFKGDQHJRVFKHPDWXQDOH*\SRV]XNLZDüQDMSURVWV]HJRUR]V]e-

U]HQLDDNWXDOQLHX*\ZDQHMPHWRG\NWyUH]QDF]FRSRSUDZLDZ\QLNL6WDUWXMFQS]PHWRG\

QDMEOL*V]HJRVVLDGDPR*QDGRNRQDüRSW\PDOL]DFMLOLF]E\VVLDGyZOXEX*\ZDQHMIXQNFMLRd-

OHJáRFL7DNLHSRVW SRZDQLHUyZQRZD*QHMHVWJUDGLHQWRZHMPHWRG]LHSU]HV]XNLZDQLDF]\OL

PHWRG]LHÄSLHUZV]\QDMOHSV]\´-HV]F]HOHSV]HUH]XOWDW\GDüPR*HEDUG]LHMNRV]WRZQHREOi-

F]HQLRZRSU]HV]XNLZDQLHZL]N
2SW\PDOL]DFMDMDNRFLRZRUy*Q\FKSDUDPHWUyZDGDSWDF\MQ\FKSRZVWDMFHMZHIHNFLHNRFo-

Z\PPHWRG\GDMHJZDUDQFM GREUDQLDRGSRZLHGQLHMPHWRG\GODDQDOL]RZDQ\FKGDQ\FK3o-

PLPRWHJR*HVLHFL0/3]IXQNFMDPLVLJPRLGDOQ\PLVXQLZHUVDOQ\PLDSURNV\PDWRUDPL]áo-

*RQRü VLHFLOLF]ED SDUDPHWUyZ DGDSWDF\MQ\FK NRQLHF]Q\FK GR UR]ZL]DQLD ]DGDQLD D W\P

VDP\PLF]DVXF]HQLDPR*HE\üQDZHWZSURVW\FKSU]\SDGNDFKQLHSRWU]HEQLHGX*D1DSU]y-

NáDGZ\G]LHOHQLHMHGQHJRUR]NáDGXRJDXVVRZVNLPFKDUDNWHU]H]WáDZ\PDJDMHGQHJRSURWo-

W\SX]RGSRZLHGQLIXQNFMRGOHJáRFLOXESRMHG\QF]HMIXQNFML*DXVVDZVLHFLDFK]UDGLDl-

Q\PLIXQNFMDPLED]RZ\PLF]\OLRNRáRN parametrów w N-wymiarowej przestrzeni danych.

1DWRPLDVWQDMSURVWV]DVLHü0/3NWyUDUR]ZL*HWR]DGDQLHPXVLPLHüSU]\QDMPQLHMN+1 neu-

URQyZF]\OLRNRáRN+1)

2

SDUDPHWUyZ :VND]XMHWRQDZD*QURO MDN JUDü PR*H Z\EyU

odpowiednich funkcji transferu (Duch i Jankowski 1999).

: QDVW SQ\P UR]G]LDOH SU]HGVWDZLP\ RJyOQ\ VFKHPDW PHWRG RSDUW\FK QD SRGRELHVWZLH

RPDZLDMFPR*OLZRFLSDUDPHWU\]DFMLLSURFHGXU\RSW\PDOL]DFMLSDUDPHWUyZUy*QHJRW\SXZ

W\P]XSHáQLHQRZPHWRG W\SXÄNRQV\OLXPHNVSHUWyZ´áF]FZ\QLNLZLHOXPRGHOL]HVo-

E 1DVW SQLH SU]HGVWDZLP\ NLOND SU]\NáDGyZ ]QDQ\FK L QRZ\FK PHWRG NODV\ILNDFML E G-

F\FKV]F]HJyOQ\PLSU]\SDGNDPLVFKHPDWXRSDUWHJRQDSRGRELHVWZLH=DSURSRQXMHP\Uyw-

QLH*QDWXUDOQ\VSRVyELQWHJUDFMLPHWRGW\SX6%0LVLHFLQHXURQRZ\FKRUD]VLHFLRZHUHDOL]a-

FMHQLHNWyU\FKDOJRU\WPyZ6%0&KRFLD*GRW\FKF]DVSU]HWHVWRZDQD]RVWDáDMHG\QLHQLHZLHl-

NDF] üZV]\VWNLFKPR*OLZRFLUH]XOWDW\REOLF]HQDSUDZG]LZ\FKLV]WXF]Q\FKED]DFKGa-

Q\FKSU]HGVWDZLRQHZNROHMQ\PUR]G]LDOHVEDUG]R]DFK FDMFH

3

2.

6FKHPDWPHWRGRSDUW\FKQDSRGRELHVWZLH

=DJDGQLHQLHNODV\ILNDFMLPR*QDVIRUPXáRZDüZQDVW SXMF\VSRVyEPDMFGDQ\]ELyUZHNWo-
rów treningowych {X

p

, C(X

p

)}, p=1 .. n, gdzie C(X

p

MHVWHW\NLHWNODV\ZHNWRUDX

p

i wektor

X

 QDOH*F\ GR QLH]QDQHM NODV\ QDOH*\ RNUHOLü SUDZGRSRGRELHVWZR p(C

i

,|X;M) zakwalifi-

kowania wektora X do zadanych klas C

i

, gdzie M

MHVWPRGHOHPNODV\ILNDF\MQ\PRSLVXMF\P

ZV]\VWNLHSDUDPHWU\LZ\NRQ\ZDQHSURFHGXU\1LHMHVWWRQDMEDUG]LHMRJyOQHVIRUPXáRZDQLH

JG\*]DNáDGDMHGQDNRZGáXJRüZHNWRUyZX2JyOQ\PRGHOV\VWHPXDGDSWDF\MQHJRX*\Za-

QHJRGODSRWU]HENODV\ILNDFMLPR*H]DZLHUDüQLHNWyUHOXEZV]\VWNLH]SDUDPHWUyZGDQ\FKSo-

QL*HM

M

k d

r

G d

E

K

p

=

⋅

⋅

⋅

⋅

, ( ; , ), ( ( )),{

}, [ ], ( )

ρ

R

<

A

(1)

gdzie:

•

k

MHVWOLF]EXZ]JO GQLDQ\FKZHNWRUyZUHIHUHQF\MQ\FKZRWRF]HQLXZHNWRUDX;

•

d(

⋅

; r,

ρ

 MHVW IXQNFM RGOHJáRFL SRGRELHVWZD r jest maksymalnym promieniem sfery

REHMPXMFHMRWRF]HQLHZHNWRUDX,

ρ

WRSR]RVWDáHSDUDPHWU\DGDSWDF\MQH

•

G(d(X, R

p

MHVWIXQNFMZD*FZSá\ZZHNWRUyZUHIHUHQF\MQ\FKR

p

na prawdopodobie

-

stwo klasyfikacji;

•

{R

p

} jest zbiorem wektorów referencyjnych, wygenerowanym ze zbioru wektorów tre-

ningowych {X

p

};

•

E[

⋅

@MHVWFDáNRZLWIXQNFMNRV]WXPLQLPDOL]RZDQSRGF]DVXF]HQLD

•

K[

⋅

@MHVWIXQNFMVNDOXMFZSá\ZEá GXGODGDQHJRSURWRW\SX]ED]\WUHQLQJRZHMQDFDá-

NRZLWIXQNFM NRV]WX

2SUyF] Z\PLHQLRQ\FK SRZ\*HM IXQNFML L SDUDPHWUyZ PHWRG\ NODV\ILNDFML PRJ Uy*QLü VL

SURFHGXUDPL VHOHNFML FHFK VSRVREHP WUDNWRZDQLD ZDUWRFL EUDNXMF\FK DOJRU\WPDPL PLQi-

PDOL]DFMLX*\ZDQ\PLZFHOX]QDOH]LHQLDRSW\PDOQ\FKSDUDPHWUyZRUD]VSRVREDPLUHDOL]DFML
w postaci sieci

QHXURSRGREQ\FK0R*QDWH*]EXGRZDüZL FHMQL*MHGHQPRGHOLX*\ZDüUy*-

Q\FKSURFHGXUáF]HQLDZ\QLNyZ2PyZLP\WHUD]GRNáDGQLHMZV]\VWNLHWHPR*OLZRFL

:\EyUNLSUDZGRSRGRELHVWZDDSULRU\F]QH
:QDMSURVWV]\PSU]\SDGNXSUDZGRSRGRELHVWZRNODV\ILNDFMLp(C

i

,|X; M) jest sparametryzo-

wane przez p(C

i

,|X; k, d(

⋅

),{X

p

}), co prowadzi do metody k

QDMEOL*V]\FKVVLDGyZk-NN, w

NWyUHMFDá\]ELyUWUHQLQJRZ\MHVWX*\W\MDNR]ELyUUHIHUHQF\MQ\8VWDODMFMDNPHWU\N d(

⋅

),

QSPHWU\N (XNOLGHVRZOLF]EDQDMEOL*V]\FKVVLDGyZk jest jedynym parametrem podlega-

MF\PRSW\PDOL]DFML=Z\NOHMHVWRQDVWRVXQNRZRPDáDL]ZL NV]DMFk dokonujemy wyboru

SDWU]F QD OLF]E  Eá GyZ NODV\ILNDFML RWU]\P\ZDQ\FK GOD NROHMQ\FK k. W metodzie k-NN

NRV]WREOLF]HQLRZ\RFHQ\GRNáDGQRFLNODV\ILNDFML]DSRPRFSURFHGXU\WHVWRZHMRNUHODM-
cej dla wszystkich n

ZHNWRUyZ]ELRUXWUHQLQJRZHJRNODV GDQHJRZHNWRUDELRUF]D]ELyUUe-

ferencyjny {X

p

`SR]RVWDáHn-1 wektorów (test leave-one-out), równy jest kosztowi jednokrot-

nej klasyfikacji wszystkich n

 ZHNWRUyZ 7HQ QLHZLHONL NRV]W XPR*OLZLD GREU\ Z\EyU k z

SXQNWXZLG]HQLDQDMOHSV]HMJHQHUDOL]DFMLPHWRG\3UDZGRSRGRELHVWZRNODV\ILNDFMLp(C

i

|X;k)

= k

i

/k równe jest liczbie wektorów referencyjnych z klasy C

i

G]LHORQHMSU]H]OLF]E ZV]\Vt-

NLFKZHNWRUyZXZ]JO GQLaQ\FKZRFHQLHSUDZGRSRGRELHVWZD
3HZQHVXEWHOQRFLGRW\F]VSRVREXREOLF]DQLDEá GXNODV\ILNDFMLGODSU]\SDGNyZZNWyU\FK

ZV]\VWNLHSUDZGRSRGRELHVWZDp(C

i

|X;k

VMHGQDNRZH&] VWR]ZL NV]DVL ZWDNLFKSU]y-

4

padkach k

E\Z\EUDüMHGQ]NODV=Dáy*P\*HPDP\CNODVLXSRU]GNXMP\MHWDNE\RVWDt-

QL]QLFKE\áDNODVDZL NV]RFLRZ,QWHUHVXMFPR*OLZRFL]DSHZQLDMFSU]\RND]MLOHp-

V]]JRGQRüZ\QLNyZNODV\ILNDFML]SUDZGRSRGRELHVWZDPLaprioryczymi, jest wprowadze-
nie dodatkowych parametrów

κ

i

dla pierwszych C-1 klas:

1

1

(

|

;

),

1

,

[0,1]

C

i

i

i

C

i

i

i

p

p C

M

p

p

κ

κ

−

=

=

= −

∈

∑

X

(2)

-HOL

κ

i

=0 to otrzymamy zawsze p

c

=

GODNODV\ZL NV]RFLRZHMDZLHFZ\QLNLQLHPRJE\ü

JRUV]HRGZ\QLNyZNODV\ILNDWRUDZL NV]RFLRZHJRGOD

κ

i

=1 otrzymamy poprzednie wyniki,

p( C

i

|X;M

2SW\PDOL]XMFSDUDPHWU\

κ

i

(dla dwóch klas jest to jednoparametrowa optymali-

zacja) mo

*HP\MHG\QLHSROHSV]\üRWU]\PDQHZ\QLNL

Metoda k-NN ma liczne zalety:

1)

Liczba klas nie jest ograniczona.

2)

6\VWHP PR*H SUDFRZDü MDNR SDPL ü KHWHURDVRFMDF\MQD Z\G]LHODMF GRZROQ SRGSU]e-

VWU]H]QDQ\FKFHFKLSU]HZLGXMFSR]RVWDáHHOHPHQW\ZHNWRUDDQLHW\ONRNODV FKRFLD*

GODND*GHMSRGSU]HVWU]HQLQDOH*\QLH]DOH*QLH]RSW\PDOL]RZDük.

3)

àDWZRMHVWGRGDüLQWHUSRODFM OLQLRZSR]ZDODMFQDORNDOQHXUHGQLHQLHZDUWRFLL]a-
stosowanie tej metody do aproksymacji.

4)

6WDELOQRüMDNSRND]DáBreiman (1996) sieci neuronowe, drzewa decyzji i wiele innych

NODV\ILNDWRUyZWRV\VWHP\QLHVWDELOQH±QLHZLHOND]PLDQD]ELRUXXF]FHJRPR*HVSRZo-

GRZDüGUDVW\F]Q]PLDQ VWUXNWXU\NODV\ILNDWRUDLUHDOL]RZDQ\FKSU]H]QLHJRJUDQLFGe-

F\]ML0HWRGDQDMEOL*V]\FKVVLDGyZMHVWQDWRPLDVWPHWRGVWDELOQ%UHLPDQJG\*

ORNDOQH]PLDQ\GDQ\FK]PLHQLDMJUDQLFHGHF\]MLW\ONRZQLHZLHlkim stopniu.

3DUDPHWU\]DFMDPLDU\SRGRELHVWZD
:L NV]RüVWRVRZDQ\FKPLDUSRGRELHVWZDZ\ZRG]LVL ]PLDURGOHJáRFLNWyUHSU]HNV]WDá-

FRQH ]D SRPRF IXQNFML ZD*FHM G(d(X, R

p

 SR]ZDODM RFHQLü SRGRELHVWZR :LHOH PLDU

SRGRELHVWZDRSLVDQ\FK]RVWDáRZSUDFDFK'XFKL-DQNRZVNLRUD]Wilson i Martinez
1997). W metodach minimalnoodleg

áRFLRwychQDMF] FLHMVWRVXMHVL PHWU\N (XNOLGHVRZ

GODGDQ\FKFLJá\FKLPLDU Hamminga dla cech binarnych. Dodatkowe parametry, które mo-

JSRGOHJDüRSW\PDOL]DFMLVDOERJOREDOQHWDNLHVDPHZFDáHMSU]HVWU]HQLDOERORNDOQHUy*-

QHGODND*GHJRZHNWRUDUHIHUHQF\MQHJR0HWU\NDMinkowskiego posiada jeden globalny pa-
rametr adaptacyjny

α

8Z]JO GQLDMFF]\QQLNLVNDOXMFHZDJLGODWHMPLDU\RWU]\PXMHP\

d

s d A B

i

i

i

i

N

A B s

, ;

,

1 6

1 6

α

α

=

=

∑

1

(3)

gdzie za d(A

i

,B

i

SU]\MPXMHVL ]Z\NOHUy*QLF _A

i

-B

i

|. Dla

α

RWU]\PXMHP\PHWU\N (XNOi-

GHVRZDGOD

α

PLDU 0DQKDWWDQ3RQLHZD*NV]WDáWJUDQLFGHF\]MLMHVWRGPLHQQ\GODUy*-

Q\FKZDUWRFLZ\NáDGQLND

α

ZDUWRJRZL F]RSW\PDOL]RZDü

:UR]ZLMDQ\PSU]H]QDVV\VWHPLH]DLPSOHPHQWRZDOLP\GZLHJUXS\PHWRGNWyUHDXWRPa-

W\F]QLHGRELHUDMF]\QQLNLVNDOXMFHs

i

'RSLHUZV]HMJUXS\QDOH*PHWRG\RSDUWHQDPLQLPa-

OL]DFML IXQNFML NRV]WX GR GUXJLHM ]D PHWRG\ RSDUWH QD V]XNDQLX W\SX ÄQDMSLHUZ QDMOHSV]\´

]G\VNUHW\]RZDQ\FK ZDUWRFL F]\QQLNyZ VNDOXMF\FK 6]F]HJyOQ\P SU]\SDGNLHP WDNLHJR

V]XNDQLDMHVWXZ]JO GQLHQLHW\ONRELQDUQ\FKZDUWRFLF]\QQLNyZVNDOXMF\FK±RGSRZLDGDWR

VHOHNFMLFHFKRPyZLRQHMSRQL*HM

5

,QWHUHVXMFIXQNFM RGOHJáRFL'XFKL-DQNRZVNLRWU]\PDP\SU]H]NRPELQDFM NLONX
funkcji

VLJPRLGDOQ\FK5\VGDQZ]RUHP

d A B

A

B

d A B

d A B

i

i

ij

ij

i

i

ij

j

i

i

i

N

(

,

)

;

( , )

(

,

)

=

−

−

=

∑

∑

=

α σ β

γ

α

α

3

8



1

(4)

Parametry

α, β, γ

 SR]ZDODM QD PLQLPDOL]DFM  RGOHJáRFL ZHZQWU] NODV L PDNV\PDOL]DFM

RGOHJáRFLSRPL G]\NODVDPL*UDQLFHGHF\]MLSU]\X*\FLXWDNVSDUDPHWU\]RZDQ\FKIXQNFML

PRJVWDüVL SURVWRNWQHSR]ZDODMFQDLQWHUSUHWDFM G]LDáDQLDNODV\ILNDWRUD]DSRPRFUe-

JXáORJiki klasycznej.
:D*QNDWHJRULIXQNFMLRGOHJáRFLVPLDU\SUREDELOLVW\F]QH0R*QDMH]DVWRVRZDüGODGa-

Q\FKRFHFKDFKV\PEROLF]Q\FKEH]]DPLDQ\W\FKFHFKQDZDUWRFLQXPHU\F]QH0LDUD]QDQD
jako VDM (Value Difference Metric) dana jest przez:

D

A B

p C A

p C B

p C A

N C A

N A

q

V

i

j

i

j

q

i

C

j

N

i

j

i

j

j

( , )

|

|

,

|

(

|

) /

(

)

=

−

=

=

=

∑

∑

3 8 3 8 3 8

1

1



(5)

gdzie N(C

i

|A

j

MHVWOLF]EZ\VWSLHZDUWRFLDWU\EXWXA

j

ZZHNWRUDFKQDOH*F\FKGRNODV\C

i

a N(A

j

MHVWOLF]EZ\VWSLHZHZV]\VWNLFKNODVDFK8RJyOQLHQLHWHMPLDU\GODZDUWRFLFL-

Já\FKPR*OLZHMHVWSR]GHILQLRZDQLXIXQNFMLUR]NáDGXJ VWRFLSUDZGRSRGRELHVWZD0LDU
VDM i jej modyfikacje (Wilson i

0DUWLQH]PR*QDWH*SRáF]\ü]LQQ\PLPLDUDPL]a-

VWRVRZDQ\PLGRDWU\EXWyZRZDUWRFLDFKQXPHU\F]Q\FK:V]F]HJyOQRFL]DPLHQLDMFV\m-

EROLF]QHZDUWRFLA

j

QD]ELyUSUDZGRSRGRELHVWZp(C

i

|A

j

PR*QDRGWZRU]\üRGOHJáRFL9'0

NRU]\VWDMF]ZDUWRFLQXPHU\F]Q\FK7DNPHWRG PR*QD]DVWRVRZDüGODGRZROQHJRNODVy-
fikatora.

Selekcja i skalowanie cech

Istnieje bardzo wiele metod selekcji cech (por. Hernandez,

)HUQDQGH]  NWyUH PRJ

]QDOH(ü]DVWRVRZDQLHZPHWRGDFKRSDUW\FKQDSRGRELHVWZLH7HRUHW\F]QLHU]HF]ELRUFPi-

QLPDOL]DFMDIXQNFMLNRV]WX]HZ]JO GXQDF]\QQLNLs

i

VNDOXMFHZNáDGRGSRV]F]HJyOQ\FKFHFK

SRZLQQDQDGDüFHFKRP]E GQ\PPDáHZDUWRFL-HGQ]PR*OLZRFLMHVWXVWDOHQLHZDUWRFL

F]\QQLNDVNDOXMFHJRGODQDMZD*QLHMV]HMFHFK\QDLGRGDQLHGRIXQNFMLNRV]WXF]áRQXregu-

ODU\]XMFHJR QS VXP\ NZDGUDWyZ SR]RVWDá\FK F]\QQLNyZ VNDOXMF\FK Z FHOX RWU]\PDQLD

MDNQDMZL NV]HMOLF]E\]HURZ\FKs

i

.

-HOLZGDQHMPHWRG]LHNODV\ILNDFMLPR*QDX*\üPLQLPDOi-

]DFMLJUDGLHQWRZHMWDNLHSRGHMFLHPR*HGDüGREUHZ\QLNLZSU]HFLZQ\PSU]\SDGNXWU]HED

Rys. 1. Suma 3 funkcji sigmoidalnych –

X*yWHF]QDIXQNFMDRGOHJáRFL

6

VWRVRZDüPHWRG\V]XNDMFHJOREDOQHJRPLQLPXPEH]Z\NRU]\VWDQLDJUDGLHQWX'XFKLKor-

F]DNFRMHVWF]DVRFKáRQQH'ODWHJROHSLHMMHVWQDMSLHUZSU]HSURZDG]LüVHOHNFM FHFKL

Z\VWDUWRZDü]ELQDUQ\FKF]\QQLNyZVNDOXMF\FKs

i

.

3RQL*HMRSLVDQH]RVWDá\SURVWHPHWRG\VHOHNFMLFHFKRSDUWHQDZDULDQWDFKV]XNDQLDW\SXÄQDj-

SLHUZQDMOHSV]\´'XFKL*UXG]LVNLD$OJRU\WP\VHOHNFMLFHFKSRZLQQ\RGU]XFLüWH

FHFK\NWyUHQLHZLHOHZQRV]GRRFHQ\SRGRELHVWZD'REU\PWHVWHPWDNLFKPHWRGMHVWGo-

GDQLHQRZ\FKFHFK]DZLHUDMF\FKMHG\QLHV]XPSRZLQQ\]RVWDüRGU]XFRQHRUD]GRGDQLH

FHFK\ E GFHM OLQLRZ IXQNFM NODV\ GOD GDQHJR ZHNWRUD SRZLQQD ]RVWDü MDNR MHG\QD So-

]ZDODMFDQDNODV\ILNDFM 7DNLWHVWSRZLQLHQE\üX*\W\GODZV]\VWNLFKPHWRGVHOHNFML
cech.

:VW SQ RFHQ  FHFK QD]\ZDQ GDOHM UDQNLQJLHP GRNRQDü PR*QD VSUDZG]DMF GRNáDGQRü

NODV\ILNDFMLSU]\X*\FLXZV]\VWNLFKFHFKDQDVW SQLHVWRVXMFNURVZDOLGDFM QD]ELRU]HWUe-

QLQJRZ\PZ\áF]DüNROHMQHFHFK\MHGQSRGUXJLHM]DSDPL WXMF]DND*G\PUD]HPGRNáDd-

QRüNODV\ILNDFMLLZDULDQFM 1DMZD*QLHMV]FHFKMHVWWDNWyUDSRHOLPLQDFMLSRZRGXMHQDj-

ZL NV] GHJUDGDFM  GRNáDGQRFL NODV\ILNDFML 1DVW SQLH VWDUWXMF RG MHGQRHOHPHQWRZ\FK

ZHNWRUyZ]DZLHUDMF\FKFHFK X]QDQ]DQDMZD*QLHMV]VSUDZG]DVL GRNáDGQRüNODV\ILNa-

FMLSRZL NV]DMFOLF]E HOHPHQWyZZHNWRUyZRNROHMQHFRUD]PQLHMZD*QHFHFK\7\ONRWH

FHFK\NWyUHSRGRGDQLXGRURVQFHMOLF]E\FHFKSRZRGXMZ]URVWGRNáDGQRFLNODV\ILNDFMLV

DNFHSWRZDQH3RGF]DVGRGDZDQLDFHFKPR*QDRSW\PDOL]RZDüSDUDPHWU\NODV\ILNDWRUDFRMHVW

RF]\ZLFLHEDUG]LHMNRV]WRZQH
'RNáDGQLHMV]\Z\EyUF]\QQLNyZVNDOXMF\FKs

i

GRNRQDüPR*QD]DSRPRFPHWRGRSDUW\FK

QDV]XNDQLXNWyUHF] VWRVV]\EV]HL]QDMGXMOHSV]HUR]ZL]DQLDQL*PHWRG\RSDUWHQDPi-

QLPDOL]DFML 5R]ZLQ OLP\ WU]\ WDNLH PHWRG\ R]QDF]DQH MDNR 6 6 L ÄPHWRGD GRVWUDMDQLD

ZDJ´7DRVWDWQLDVWDUWXMH]UR]ZL]DRWU]\PDQ\FKSU]H]PHWRG\minimalizacyjne lub meto-

G\6F]\6LMHVWEDUG]RV]\END6WRVXMFPHWRG\V]XNDQLDQDOH*\SU]\MüG\VNUHWQHZDUWo-

FLF]\QQLNyZVNDOXMF\FKPR*QDWRMHGQDN]URELüVWRSQLRZR]ZL NV]DMFLFKSUHFy]M 
: PHWRG]LH 6 QDMSLHUZ Z\ELHUDP\ QDMZD*QLHMV] FHFK  DQDOL]XMF UH]XOWDW\ RWU]\PDQH ]

NURVZDOLGDFML QD ]ELRU]H WHVWRZ\P ] ZáF]RQ W\ONR MHGQ FHFK &HFK\ GOD NWyU\FK RVL-

JQL WR QDMZ\*V] GRNáDGQRü NODV\ILNDFML V GREU\PL NDQG\GDWDPL GR XZ]JO GQLHQLD Z

SLHUZV]\PU] G]LH,FKLQGHNV\VSDPL WDQHZWDEOLF\ZNROHMQRFLRGQDMOHSV]HMGRQDMJRr-

V]HM'ODQDMZD*QLHMV]HMFHFK\XVWDODVL s

1

GHILQLXMFW\PVDP\PZ]JO GQVNDO RGOHJáo-

FL&]\QQLNVNDOXMF\GODQDVW SQHMFHFK\Z\]QDF]DQ\MHVWQDSRGVWDZLHUH]XOWDWyZRWU]y-

PDQ\FKSU]\GZyFKFHFKDFKZáF]RQ\FK]PLHQLDMFs

2

z krokiem

∆

(np.

∆

WDN*Hs

2

=

m

∆

∈

>@1DMOHSV]DZDUWRüs

2

LGRNáDGQRüNODV\ILNDFMLMHVW]DSDPL W\ZDQDLRSLVDQ\SUo-

FHVSRZWDU]DP\GODNROHMQHMFHFK\Z\EUDQHM]JRGQLH]HZVW SQ\PUDQNLQJLHPSU]\XVWDOo-

Q\FKZDUWRFLDFKs

1

i

s

2

3R]DNRF]HQLXXF]HQLDGRNáDGQRüNODV\ILNDFMLVSUDZG]DQDMHVWQD

]ELRU]HWHVWRZ\P]HVNDORZDQIXQkFMRGOHJáRFL
0R*H VL  RF]\ZLFLH RND]Dü*H WHVWRZDQLH SRMHG\QF]\FK FHFK QLH GD GREUHJR Z\QLNX ER

GRSLHURNRPELQDFMDNLONXFHFKSR]ZDODQDNODV\ILNDFM -HOLDOJRU\WP6QLHGDMHGREU\FK

UH]XOWDWyZ QDOH*\ ]DVWRVRZDü QLHFR EDUG]LHM NRV]WRZQ\ REOLF]HQLRZR DOJRU\WP 6 NWyU\

VWDUWXMHRGZV]\VWNLFKFHFKSRNROHLMHRGU]XFDMF:SRF]WNRZ\PUDQNLQJXFHFKZV]\VWNLH

ZDJLXVWDZLDQHVQDs

i

=1, i=1..N, gdzie N

MHVWOLF]EFHFKSRF]\PUDQNLQJGRNRQXMHVL

SU]H]NROHMQHZ\áF]DQLHSRMHG\QF]HMFHFK\:QDVW SQ\PHWDSLHF]\QQLNVNDOXMF\QDMZD*-

QLHMV]HMFHFK\XVWDODVL QDDRSW\PDOQ\F]\QQLNVNDOXMF\GODGUXJLHMFHFK\]QDMGRZDQ\

MHVWSU]H]SRV]XNLZDQLHPLQLPXPGODG\VNUHWQ\FKZDUWRFL s

i

XWU]\PXMFZDUWRFLSR]RVWa-

á\FK F]\QQLNyZ MDNR  7DNLH V]XNDQLH F]\QQLNyZ VNDOXMF\FK SRZWDU]D VL  GOD NROHMQ\FK

FHFK]UDQNLQJXSRGF]DVJG\SR]RVWDáHFHFK\PDMZDJLUyZQH2GPLDQDWHMPHWRG\VWDr-
tuje z binarnego wektora s

i

∈{

`RWU]\PDQHJR]DSRPRFMDNLHJRDOJRU\WPXVHOHNFMLFHFK

7

3RZ\]QDF]HQLXSU]\EOL*RQHJRZHNWRUDRSW\PDOQ\FKF]\QQLNyZVNDOXMF\FKPR*QDMHÄGo-

VWURLü´V]XNDMFOHSV]HJRUR]ZL]DQLDZRNyáZHNWRUDMX*]QDOH]LRQHJR'RND*GHJRF]\QQLND

VNDOXMFHJRGRGDZDQDMHVWOXERGHMPRZDQDVWDáDZDUWRü

δ

]DGDQD]JyU\SU]H]X*\WNRZQLND

(np. 0.5): s

i

←

s

i

±

δ

 -HOL ]PLDQD ZDJL SURZDG]L GR SROHSV]HQLD G]LDáDQLD NODV\ILNDWRUD

czynnik ten zostaje uaktualniony, w przeciwnym przypadku pozostaje bez zmian. Gdy
ZV]\VWNLHZDJL]RVWDQVSUDZG]RQHL*DGQD]PLDQDRF]\QQLN

δ

nie poprawia rezultatu po-

ZWDU]DVL SURFHGXU ]

δ

←

δ/2

3URFHGXUDNRF]\VL MHOLUy*QLFDZGRNáDGQRFLNODV\ILNDFML

w dwóch kolejnych iteracjach jest mniejsza od zadanej warto

FL

=DLPSOHPHQWRZDQRUy*QHZDULDQW\RSLVDQ\FKSRZ\*HMPHWRGQS]DZ *DMFSURFHGXU V]u-

NDQLDW\ONRGRSRG]ELRUXFHFK]LGHQW\ILNRZDQ\FKMDNRLVWRWQHSRGF]DVUDQNLQJX&KRFLD*V

WRSURVWHPHWRG\ZSUDNW\FHG]LDáDMUyZQLHGREU]HMDNEDUG]LHMZ\UDILQRZDQHSRUHPSi-
ryczne oceny algorytmów selekcji cech, Fernandez, Hernandez 1999).

3DUDPHWU\]DFMDIXQNFMLZD*F\FKZSá\ZZHNWRUyZUHIHUHQF\MQ\FK
:HNWRU\ UHIHUHQF\MQH NWyUH V QDMEDUG]LHM SRGREQH GR SU]\SDGNX WHVWRZHJR X, powinny

PLHü ZL NV]\ ZSá\Z QD SUDZGRSRGRELHVWZR NODV\ILNDFML RG W\FK NWyUH OH* GDOHM

8Z]JO GQLDQLHGRNáDGQLHkVVLDGyZRGSRZLDGDIXQNFMRPWUDQVIHUXW\SXÄWZDUGDVIHUD´=a-

PLDQD W\FK IXQNFML QD EDUG]LHM JáDGNLH SR]ZDOD QD XZ]JO GQLHQLH WDNLHJR VNDORZDQLD 1D

SU]\NáDG ZH(P\ VWR*NRZ UDGLDOQ IXQNFM  SU]\QDOH*QRFL ]QDQ ] ORJLNL UR]P\WHM SU]\j-

PXMHRQDZDUWRü]HURQD]HZQWU]SURPLHQLDr RUD]URQLHOLQLRZRGRZDUWRFLZHZQWU]

SURPLHQLD3UDZGRSRGRELHVWZRNODV\ILNDFMLMHVWREOLF]DQHSU]H]QHXURQ\Z\MFLRZHNRU]y-

VWDMF]HZ]RUX

(

)

(

)

;

,

(

|

; )

;

,

i

p

p

i

p

p

G

r

p

r

G

r

∈

=

∑

∑

C

X R

C X

X R

(

)

(

)

(

)

;

; ,

max 0,1

d

G

r

r

=

−

X R

X R

(6)

G(X; R, r

JUDWXURO ZDJLVNDOXMFHMZSá\ZQDSUDZGRSRGRELHVWZRNODV\ILNDFMLZHNWRUyZ

UHIHUHQF\MQ\FKXPLHV]F]RQ\FKZRGOHJáRFLd(X;R). W przypadku algorytmu r-NN parametr
r

MHVWRSW\PDOL]RZDQ\6LHFLW\SX5%)RJDXVVRZVNLFKIXQNFMDFKWUDQVIHUXVWDQRZLV]F]e-

JyOQ\SU]\SDGHNWDNLHMVNDORZDQHMPHWRG\6%0,QQX*\WHF]QIXQNFMVNDOXMFMHVWNRm-
binacja dwóch funkcji sigmoidalnych:

G d

d

r

d

r

n

n

( )

=

−

− −

−

+

σ

σ

X R

X R

2

7

4

9 2

7

4

9

(7)

-DNR IXQNFML VNDOXMFHM ZHNWRU\ ZHZQWU] SURPLHQLD r PR*QD X*\ü ]PLHQQHJR r równego

RGOHJáRFLGRkWHJRVVLDGD-HOLSU]H]r

k

R]QDF]\üRGOHJáRüGRkWHJRVVLDGDLr

k

≥

r

i

, dla

i=1...k

−

 ZWHG\ VWR*NRZD IXQNFMD VNDOXMFD G(d) = 1

−

d/

α

r

k

,

α

! SU]\MPXMH ZDUWRFL

G(0)=1 oraz G(r

k

)=1

−

1/

α

'ODGX*HJR

α

VWR*HNMHVWEDUG]RV]HURNLLZV]\VWNLHZHNWRU\Ze-

ZQWU]VXZ]JO GQLRQHMHGQDNRZRGOD

α

]PLHU]DMFHJRGRZDUWRFLVVLDGQDMGDOHMSRáo-

*RQ\PDZDJ EOLVN]HUX0HWRGDRSLVDQDSRZ\*HMPXVLG]LDáDüQLHJRU]HMQL*NRQZHQFMo-
nalny k-NN.

=DPLDVWZ\PXV]DüGRNáDGQLHkVVLDGyZPR*QDX*\üSURPLHQLDVIHU\rZRNyáZHNWRUyZWe-
stowych X

MDNRSDUDPHWUXDGDSWDF\MQHJR:W\PSU]\SDGNXOLF]EDEá GyZNODV\ILNDFMLOXE

SUDZGRSRGRELHVWZRNODV\ILNDFMLp(C

i

|X;r) = N

i

/

∑

j

N

j

jest optymalizowane na zbiorze tre-

QLQJRZ\P]DSRPRFNURVZDOLGDFML:QHXURQRZHMZHUVMLWHJRDOJRU\WPXQDOH*\X*\üIXQk-

8

FMLWUDQVIHUXW\SXÄWZDUGDVIHUD´-HOL*DGHQZHNWRUUHIHUHQF\MQ\QLHZSDGDGRVIHU\RSUo-
mieniu r

OXERVLJQL WRWDNLHVDPRSUDZGRSRGRELHVWZRNODV\ILNDFMLp(C

i

|X;r) dla wszystkich

klas, wektor testowy X

PR*HE\üSU]HVXQL W\GR]ELRUXSU]\SDGNyZQLHPR*OLZ\FKGRVNODVy-

ILNRZDQLD$E\XQLNQüWDNLFKSUREOHPyZr SRZLQQRE\ü]ZL NV]RQDD*]RVWDQLHSU]HáDPDQ\

LPSDV0R*QDWH*ZSURZDG]Lü]PLHQQHSURPLHQLHr

i

GODND*GHJRZHNWRUDUHIHUHQF\MQHJRFR

]QDF]QLHSRZL NV]DOLF]E SDUDPHWUyZDGDSWDF\jnych.

Selekcja i parametryzacja wektorów referencyjnych

:QDMSURVWV]\PSU]\SDGNXZV]\VWNLHZHNWRU\WUHQLQJRZHPR*QDSU]\MüMDNRZHNWRU\UHIe-

UHQF\MQH=NLONXZ]JO GyZPR*HWRE\üQLHQDMOHSV]HUR]ZL]DQLH
-HOLGDQ\FKMHVWEDUG]RGX*RZL NV]RüZHNWRUyZLWDNQLFQLHZQRVLVSRZDOQLDMFQLHSo-
trzebnie poszukiwanie najbardziej podobnych kandydatów.

-HOLGDQ\FKMHVWPDáRZDUWRGRVWDZLüZLUWXDOQHZHNWRU\UHIHUHQF\MQHOXE]RSW\PDOL]RZDü

SRáR*HQLHLVWQLHMF\FK
-HOLGDQHV]DV]XPLRQHOXE]DZLHUDMEá G\]PQLHMV]HQLHOLF]E\ZHNWRUyZUHIHUHQF\MQ\FK

PR*HSROHSV]\üZ\QLNL
'RGDWNRZ]DOHWUHGXNFMLOLF]E\ZHNWRUyZUHIHUHQF\MQ\FKMHVWPR*OLZRüLGHQW\ILNDFMLFLe-

NDZ\FKSURWRW\SyZSR]ZDODMFDOHSLHM]UR]XPLHüVWUXNWXU GDQ\FK:\ERUXZHNWRUyZUHIe-

UHQF\MQ\FKGRNRQDüPR*QDQDZLHOHVSRVREyZ3LHUZV]DJUXSDPHWRGG]LDáDMFDGREU]HGOD

GX*\FK ED] WUHQLQJRZ\FK RSDUWD MHVW QD PHWRGDFK NODVWHU\]DFML 1DOH*\ Z\EUDü Z]JO GQLH

PDá\ ]ELyU ZHNWRUyZ UHIHUHQF\MQ\FK VSRUyG ZHNWRUyZ OH*F\FK EOLVNR FHQWUyZ NODVWUyZ

1DVW SQLHVSUDZG]DVL GRNáDGQRüNODV\ILNDFMLQD]ELRU]HWUHQLQJRZ\P=DND*G\PUD]HP

NLHG\ V\VWHP SRSHáQL EáG SU]\ NODV\ILNDFML ZHNWRUD WUHQLQJRZHJR MHVW RQ SU]HVXZDQ\ GR
zbioru referencyjnego.

Wariantem metod

NODVWHU\]DF\MQ\FK MHVW VWRSQLRZH ]PQLHMV]DQLH UR]G]LHOF]RFL GDQ\FK

3U]\MPXMFUR]G]LHOF]RürQLHUR]Uy*QLDP\GDQ\FKZSU]HG]LDOH>a, a+r8*\ZDMFIXQNFML

]DRNUJODQLDPR*HP\RWU]\PDüUR]G]LHOF]RüCSU]HG]LDáyZ]DSRPRFZ]RUX

(

)

(

)

(

)

min

min

max

min

( )

Round

/

;

/

r

X

X

X

r

X

X

r

r

X

X

C

=

+

−

=

−

Dla C

ZV]\VWNLHZDUWRFLX

r

SU]HFKRG]ZX

min

lub X

max

DGODGX*HJRCVWDMVL FRUD]EDr-

G]LHMSRGREQHGRSLHUZRWQ\FKZDUWRFLSR]ZDODMFQDXWZRU]HQLHZL NV]HMOLF]E\NODVWUyZ
'UXJDJUXSDPHWRGRSLHUDVL QDXVXZDQLX]FDáHJR]ELRUXWUHQLQJRZHJRW\FKZHNWRUyZGOD
których k

QDMEOL*V]\FKVVLDGyZMHVW]WHMVDPHMNODV\7HZHNWRU\OH*GDOHNRRGEU]HJyZ

REV]DUyZGHF\]MLLGODWHJRZV]\VWNLHQRZHZHNWRU\]LFKVVLHG]WZDE GLWDNMHGQR]QDF]QLH

NODV\ILNRZDQH'REU\SURWRW\SOH*F\ZURGNXNODVWUDPR*QD]QDOH(üSRV]XNXMFZHNWRUyZ

NWyUHPDMQDMZL NV]OLF]E VVLDGyZ]WHMVDPHMNODV\GRSXV]F]DMFSHZLHQSURFHQWEá -
dów.

0HWRG\]WU]HFLHMJUXS\HOLPLQXM]H]ELRUXUHIHUHQF\MQHJR NROHMQH ZHNWRU\WUHQLQJRZH ]D

ND*G\P UD]HP WHVWXMF NODV\ILNDWRU QD FDá\P ]ELRU]H WUHQLQJRZ\P -HOL K

≤δ

, gdzie K to

RVLJQL WDGRNáDGQRüNODV\ILNDFMLZ\UD*RQDZSURFHQWDFKD

δ

≤

MHVWGRNáDGQRFL

Z\PDJDQSU]H]X*\WNRZQLNDREOLF]RQQS]DSRPRFWHVWXleave-one-outQDFDá\P]ELRU]H

WUHQLQJRZ\PWRZ\EUDQ\ZHNWRUPXVLSR]RVWDüLVáX*\üMDNRZHNWRUUHIHUHQF\MQ\ZSU]e-

FLZQ\PSU]\SDGNXZHNWRUWDNLPR*QDRGU]XFLü'RELHUDMFRGSRZLHGQLRZDUWRü

δ

PR*QDZ

SU]\EOL*RQ\VSRVyEUHJXORZDüOLF]E ZHNWRUyZUHIHUHQF\MQ\FKLPPQLHMV]H

δ

tym w zbiorze

UHIHUHQF\MQ\PSR]RVWDMHPQLHMZHNWRUyZ:DGWHMPHWRG\MHVWWR*HMHVWGRüNRV]WRZQD

9

SRQLHZD*WU]HEDSU]HSURZDG]LüW\OHRFHQEá GXLOHMHVWZHNWRUyZWUHQLQJRZ\FK'R]DOHW]a-

OLF]\üPR*QDWR*HPHWRGDJHQHUXMHEDUG]RPDáH]ELRU\WUHQLQJRZHSU]\PLQLPDOQHMGHJUa-

GDFMLGRNáDGQRFLNODV\ILNDFMLF]DVDPLQDZHWSRSUDZLDMFJHQHUDOL]DFM 
6HOHNFMDZHNWRUyZUHIHUHQF\MQ\FKSR]ZDODZ]QDF]Q\VSRVyE]PQLHMV]\ü]ELyUWUHQLQJRZ\D

FR]DW\PLG]LHSU]\VSLHV]\üREOLF]HQLD0R*QDSyMüMHV]F]HGDOHMLRSW\PDOL]RZDüSRáR*e-

QLDZ\EUDQ\FKZHNWRUyZUHIHUHQF\MQ\FKFRSRZLQQR]PQLHMV]\üEáGXF]HQLDLaaksonen,

2MD3URZDG]LWRGRDGDSWDF\MQ\FKPHWRGNZDQW\]DFMLZHNWRURZHM/943RáR*HQLH
wektora referencyjnego R

 ]QDMGXMFHJR VL  Z RWRF]HQLX ZHNWRUD WUHQLQJRZHJRX powinno

E\üXDNWXDlniane zgodnie ze wzorem:

R

R

C X C R

X R

nowy

stary

stary

stary

=

+

−

−

η δ

2

1

1 6 3 8

4

9

4

93

8

,

(8)

gdzie

η

MHVWVWDáXF]HQLDNWyUDPR*HE\üVWRSQLRZR]PQLHMV]DQD-HVWRQDPQR*RQDSU]H]

MHOLX i R

stary

QDOH*GRWHMVDPHMNODV\OXEZSU]HFLZQ\PSU]\SDGNX:L FHMQD

WHPDWUy*Q\FKZHUVMLPHWRG\/94]QDOH(üPR*QDZSUDF\Laaksonen, 2MD%á G\Z

Z\EUDQ\FKREV]DUDFKSU]HVWU]HQLFHFKPR*QD]OLNZLGRZDüZSURZDG]DMFGRGDWNRZHÄZLr-
tualne” wektory referencyjne, pomagaj

FHZ\RVWU]\üJUDQLFHGHF\]ML

Funkcja kosztu i metody minimalizacji

1DMSURVWV]IXQNFMNRV]WXMHVWOLF]EDSRSHáQLDQ\FKEá GyZ-HVWWRRF]\ZLFLHIXQNFMD]PLe-

QLDMFDVL VNRNRZRFRZ\NOXF]DVWRVRZDQLHV]\ENLFKJUDGLHQWRZ\FKPHWRGPLQLPDOL]DFML

-HOLREOLF]RQHSUDZGRSRGRELHVWZDNODV\ILNDFML]PLHQLDMVL ZVSRVyEFLJá\PR*HP\VWo-

VRZDüIXQNFM RFHQLDMFDU\]\NRNODV\ILNDFML

E

M

R C C

p C

M

C C

R

i

p

i p

i

p

i

p

{ };

, (

)

|

;

, (

)

,

X

X

X

X

1

6

2

7 2

7 2

7

=

−

∑

δ

2

(9)

1DOH*\MHGQDNSDPL WDü*HPLQLPXPWHMIXQNFMLQLHPXVLE\üLGHQW\F]QH]PLQLPXPEá GX

NODV\ILNDFML6LHFLQHXURQRZHXF]RQHVQDMF] FLHMPHWRGZVWHF]QHMSURSDJDFMLNWyUDPi-

QLPDOL]XMH IXQNFM  PLHU]F UHGQL EáG NZDGUDWRZ\ 06( DOH PHWRG\ JUDGLHQWRZH QLH

JZDUDQWXM ]QDOH]LHQLD PLQLPDOQHJR Eá GX NODV\ILNDFML NWyUHJR RFHQD SRGDZDQD MHVW MDNR

Z\QLNNRFRZ\7RZáDQLH]WHJRSRZRGXGODQLHNWyU\FKED]GDQ\FKOHSV]HUH]XOWDW\RVL-

JQüPR*QD]DSRPRFSURVWHMG\VNU\PLQDFMLOLQLRZHMFKRFLD*PRJáRE\VL Z\GDZDü*HWH

VDPHUH]XOWDW\SRZLQQDGDüVLHü0/3]MHGQ\PQHXURQHP'XFKL$GDPF]DN,QLFMDOi-
zacja sieci wagami otrzymanymi z liniowej dyskryminacji (LDA) daje równie dobre rezultaty

FR /'$ W\ONR GOD GX*\FK VNRVyZ IXQNFML VLJPRLGDOQ\FK : Z\QLNX XF]HQLD QHXURQX EáG

06(PR*HPDOHüSU]\URVQF\PEá G]LHNODV\ILNDFML
W lokalnej regresji opartej na

PLQLPDOQRRGOHJáRFLRZ\FKRFHQDFK]DIXQNFM Eá GXSU]\j-

PXMHVL 

E

M

K d

F

M

Y

R

i

p

i p

p

p

{ };

,

;

,

X

R X

X

1

6

2

7

4

9 2

7

=

−

∑

2

(10)

gdzie Y

p

MHVWSR*GDQZDUWRFLIXQNFMLZSXQNFLHX

p

, a funkcja K

GRFHQLDZSá\ZRNROLFz-

Q\FK ZHNWRUyZ UHIHUHQF\MQ\FK QD PLDU  Eá GX -HOL IXQNFMD WD PD RVWUH PDNVLPXP ZRNyá
d

 WR Z\PXV]D RQD SU]HFKRG]HQLH GRNáDGQLH SU]H] SXQNW\ X

p

,Y

p

 MHOL MHVW RQD VWDáD WR

ZV]\VWNLHSXQNWXWUDNWRZDQHVMHGQDNRZR:SU]\SDGNXNODV\ILNDFMLPR*QDZWHQVSRVyE

Z\PXVLüUR]PLDU\VVLHG]WZDZRNyáZHNWRUyZUHIHUHQF\MQ\FKZNWyU\FK*GDP\]ZL NV]o-
nej do

NáDGQRFLNODV\ILNDFML

0HWRG\JUDGLHQWRZHVSRGVWDZXF]HQLDVLHFLQHXURQRZ\FKMHGQDN*HQLHQDGDMVL GRPi-

QLPDOL]DFMLQLHFLJá\FKIXQNFMLNRV]WX:W\PFHOXX*\ZDOLP\WU]HFKPHWRGPLQLPDOL]DFML

10

lokalnej metody sympleksów (Nelder i Mead 1965), adaptacyjnej metody symulowanego wy-

*DU]DQLD$6$Ingberg 1996; jest to globalna metoda minimalizacji) oraz globalnej metody
multisympleks (

'XDQLLQQL1DMV]\EV]PHWRGMHVWRF]\ZLFLHORNDOQDPHWRGDsym-

SOHNVyZNWyUD]DSHZQLDZ]JO GQLHV]\EN]ELH*QRüQDZHWGODGX*\FKED]GDQ\FK-HVWWR

FHQQDPHWRGDJG\*SR]ZDODRFHQLüF]\GODGDQHMED]\GDQ\FKVNDORZDQLHPDV]DQV G]LDáDü

LF]\ZDUWRVWRVRZDüNRV]WRZQLHMV]HPHWRG\RSW\PDOL]DFML-HMZDGMHVWGX*DZDULDQFMDZy-

QLNyZFRZL*HVL ]ORNDOQRFLPHWRG\'ODED]GDQ\FK]RVREQRZ\G]LHORQ\P]ELRUHPWe-
stowym metody ASA i

PXOWLVLPSOHNVGDMSRGREQHUH]XOWDW\GODZLHOXXUXFKRPLHV\VWHPX

]DOHWDJOREDOQHMPLQLPDOL]DFMLVWRMHGQDNPHWRG\EDUG]RNRV]WRwne.

Mieszanie wielu modeli

6WDELOL]DFM Uy*Q\FKPHWRGRVLJQüPR*QDQDNLONDVSRVREyZSU]H]PHWRG\VWDW\VW\F]QHJR
próbkowania danych, takie jak arcing, bagging, stacking

 SR]ZDODMFH Z\JHQHURZDü ZLHOH

PRGHOL GOD WHJR VDPHJR NODV\ILNDWRUD XF]RQHJR QD Uy*Q\FK SRG]ELRUDFK GDQ\FK OXE SU]H]

VWZRU]HQLH ÄNRPLWHWX HNVSHUWyZ´ NWyU\FK Z\QLNL XUHGQLDQH V GOD ZLHOX PRGHOL =Z\NOH

SU]\MPXMHVL RSLQL ZL NV]RFLHNVSHUWyZOXEVWRVXMHEDUG]LHM]áR*RQHPHWRG\NRPELQDFML
wyników (Merz 1999).

3U]\WZRU]HQLXPRGHOLNRU]\VWDMF\FK]Z\QLNyZUy*Q\FKNODV\ILNDWRUyZQDOH*\Z\NRU]y-

VWDüZV]\VWNLHLQIRUPDFMHNWyUHPDP\GRG\VSR]\FML:SU]\SDGNXPRGHOLRSDUW\FKQDSo-

GRELHVWZLHLQIRUPDFMWDNPR*HE\üRFHQDNRPSHWHQFMLGDQHJRPRGHOXZSREOL*XND*GHJR

] ZHNWRUyZ UHIHUHQF\MQ\FK 'ODWHJR ]DPLDVW ]Z\NáHM NRPELQDFML OLQLRZHM Z\QLNyZ ZLHOX

PRGHOLQDOH*\]DVWRVRZDüNRPELQDFM ]HZVSyáF]\QQLNDPLSRPQR*RQ\PLSU]H]IXQNFM RFe-
ny kompetencji w danym obszarze.

(

)

(

) (

)

|

;

;

|

;

i

l

l

i

l

l

p C

M

W g

p C

M

=

∑

X

X R

X

(11)

gdzie funkcja g

l

(X;R

SU]\MPXMHPDáHZDUWRFLZSREOL*XW\FKZHNWRUyZUHIHUHQF\MQ\FKNWó-

UHQLHVNODV\ILNRZDQHSRSUDZQLHDZSR]RVWDá\FKREV]DUDFKMHVWVWDáD:VSyáF]\QQLNLW

l

GRSDVRZDüPR*QDPHWRGQDMPQLHMV]\FKNZDGUDWyZ

3.

6LHFL0/3DPHWRG\RSDUWHQDSRGRELHVWZLH

0R*HVL Z\GDZDü*HSRPL G]\VLHFLDPLQHXURQRZ\PLRSDUW\PLQD]ORNDOL]RZDQ\FKIXQk-

FMDFKUDGLDOQ\FKNWyUHZQDWXUDOQ\VSRVyEX]QDüPR*QD]DZHUVM PHWRGRSDUW\FKQDSRGo-

ELHVWZLH D VLHFLDPL W\SX SHUFHSWURQyZ ZLHORZDUVWZRZ\FK LVWQLHMH ]DVDGQLF]D Uy*QLFD

']LDáDQLHVLHFLSLHUZV]HJRURG]DMXEOL*V]HMHVWPHWRGRPDQDOL]\VNXSLHLSROHJDQDSU]\EOi-

*DQLX UR]NáDGX J VWRFL SUDZGRSRGRELHVWZD ZHNWRUyZ QDOH*F\FK GR Uy*Q\FK NODVWUyZ D

ZL FREOLF]DQLXZDUXQNRZHJRSUDZGRSRGRELHVWZDP(X|C6LHFLGUXJLHJRURG]DMXEOL*V]HV

DQDOL]LHG\VNU\PLQDF\MQHMSRVáXJXMVL KLSHUSáDV]F]\]QDPLE\GRNRQDüSRG]LDáXSU]HVWU]HQL

FHFKQDUR]áF]QHREV]DU\REOLF]DMFSU]\W\PSUDZGRSRGRELHVWZDa posteriori P(C|X). Ko-

U]\VWDMF]WZLHrdzenia Bayesa:

(

)

(

)

|

( )

|

( )

P

C P C

P C

P

=

X

X

X

=DNáDGDMFGZLHNODV\C

1

i C

2

PR*HP\WR]DSLVDüZSRVWDFL

11

(

)

(

)

(

)

(

)

(

)

(

)

1

1

1

2

2

1

1

2

2

1

1

|

(

)

1

|

|

(

)

|

(

)

|

(

)

1

|

(

)

P

C P C

P C

P

C

P C

P

C P C

P

C

P C

P

C P C

=

=

+

+

X

X

X

X

X

X

3U]HGVWDZLDMFWHUD]

(

)

(

)

(

)

(

)

2

2

1

1

1

1

2

2

|

(

)

|

(

)

exp

ln

ln

e

|

(

)

|

(

)

P

C

P C

P

C

P C

P

C P C

P

C

P C

χ

−









=

−

−

=













X

X

X

X

PR*HP\IRUPDOQLH]DSLVDü

(

)

( )

1

|

P C

σ χ

=

X

3U]\MPXMFdZ\PLDURZIXQNFM *DXVVDGODSUDZGRSRGRELHVWZDZDUXQNRZHJRRUD]MHd-
nakowe macierze kowariancji

Σ

dla obu klas:

(

)

(

) (

)

(

)

1

1

2

/ 2

1/ 2

1

|

;

,

(2 )

|

|

T

i

i

C

C

i

i

d

P

C

e

G

C

π

−

−

−

Σ

−

=

=

Σ

Σ

X

X

X

X

áDWZRMHVW]DSLVDüSUDZGRSRGRELHVWZDposterioryczne w postaci funkcji logistycznej:

(

)

(

)

1

|

T

P C

σ

θ

=

−

X

W X

gdzie

(

)

1

1

1

1

1

2

1

1

2

2

2

1

1

(

)

,

ln

2

2

(

)

T

T

P C

C

C

C

C

C

C

P C

θ

−

−

−

= Σ

−

=

Σ

−

Σ

+

W

:W\PV]F]HJyOQ\PSU]\SDGNXPR*QDZL FSU]HMüRGIXQNFML*DXVVRZVNLFKGRIXQNFMLsig-

PRLGDOQ\FK1LHWUXGQR]DXZD*\ü*HGODGLDJRQDOQ\FKPDFLHU]\NRZDULDQFMLrenormalizacja
funkcji Gaussowskich prowadzi do funkcji sigmoidalnych:

(

)

(

)

(

) (

)

(

)

; ,

; ,

; ,

;

,

T

R

G

C

G

C

G

C

G

C

σ

Σ

Σ =

=

Σ +

− Σ

X

X

W X

X

X

gdzie W

i

=4C

i

/

Σ

ii

.

3DU\QHXURQyZUHDOL]XMFHIXQNFM *DXVVDPRJZL F]DVWSLüIXQNFM ORJi-

VW\F]Q0R*HP\VL WXSRVáX*\üSURVWV]\PLEDUG]LHMLQWXLF\MQ\PDUJXPHQWHPXND]XMF\P

]ZL]HNPHWRGRSDUW\FKQDSRGRELHVWZLHLDQDOL]\G\VNU\PLQDFML+LSHUSáDV]F]\]QDVWDQo-

ZLFDJUDQLF GHF\]MLPL G]\NODVDPLMHVWUyZQRRGOHJáDRGGRZROQ\FKGZyFKSXQNWyZNWó-

UH OH* QD SURVWHM GR QLHM SURVWRSDGáHM 3U]\MPXMF WH SXQNW\ ]D ZHNWRU\ SURWRW\SRZH GOD

GZyFKNODVZPHWRG]LHQDMEOL*V]\FKVVLDGyZLREOLF]DMFRGOHJáRü(XNOLGHVRZRWU]\PDP\

ZL F UyZQRZD*Q\ V\VWHP NODV\ILNXMF\ :\EyU QDMOHSV]HM SáDV]F]\]Q\ UR]G]LHODMFHM GZLH

NODV\]DSRPRFOLQLRZHMDQDOL]\G\VNU\PLQDF\MQHMOXEXF]HQLDSHUFHSWURQXMHVWUyZQRZD*Q\

12

XVWDOHQLXSRáR*HQLDMHGQHJR]ZHNWRUyZSURWRW\SRZ\FKLSRV]XNLZDQLXQDMOHSV]HJRSRáR*e-
nia drugiego z tych wektorów.

-HOL]DáR*\P\ELQDUQHV\JQDá\ZHMFLRZH^X

i

=

±

1} i wagi {W

i

=

±

1}, to neuron o N

ZHMFLDFK

i progu

θ

reali

]XMHQDVW SXMFIXQNFM 

(

)

(

)

0

if

/ 2

1

if

/ 2

N

i

i

i

N

W X

N

θ

θ

θ



−

>

−



 

Θ

−

= 





−

≤

−





 

∑

W

X

W

X

(12)

gdzie norma ||

⋅

__MHVW]GHILQLRZDQDSU]H]RGOHJáRüHamminga. Wagi neuronów w pierwszej

ZDUVWZLH XNU\WHM PR*QD LQWHUSUHWRZDü MDNR DGUHV\ ZHNWRUyZ UHIHUHQF\MQ\FK ] SU]HVWU]HQL

ZHMFLRZHM1HXURQ\SURJRZHVZ]EXG]DQHSU]H]ZHNWRU\ZHMFLRZHZSDGDMFHZVIHU R
promieniu

θ

VFHQWURZDQZW=PLHQLDMFZDUWRFLELQDUQHQDU]HF]\ZLVWHRUD]SURJRZ

IXQNFM  WUDQVIHUX QD VLJPRLGDOQ RUD] GRNRQXMF QRUPDOL]DFML __X||=||W__  PR*QD X]\VNDü

PL NNLHZ]EXG]HQLHQHXURQyZSU]H]ZHNWRU\ZHMFLRZHEOLVNLHW na sferze jednostkowej.

:RJyOQRFLIXQNFMDWUDQVIHUXQHXURQyZPDSRVWDü

σ

σ

σ

(

)

(

, )

W X

W

X

W

X

W X

⋅

=

+

−

−





=

−

1

2

2

2

2

4

9 1

6

I

d

max

(13)

'OD]QRUPDOL]RZDQ\FKZHNWRUyZZHMFLRZ\FKsigmoidalne (lub inne monotonicznie rosn-

FHIXQNFMHWUDQVIHUXREOLF]DMZSá\ZZHNWRUyZUHIHUHQF\MQ\FKWQDSUDZGRSRGRELHVWZR
klasyfikacji p

i

(

| ;{

, })

C X W

θ

Z]DOH*QRFLRGLFKRGOHJáRFLd(W,X-DNRIXQNFMDRGOHJáRFL

funkcja transferu

σ

(I

max

−

d(W,X

 PRQRWRQLF]QLH PDOHMH RVLJDMF ZDUWRü  GOD

d(W,X)=I

max

'OD]QRUPDOL]RZDQ\FKZDJLZHNWRUyZZHMFLRZ\FK

σ

(I

max

−

d(W,X))

∈

[0.5,

σ

(1)],

przy czym 0

≤

d(W,X)

≤

FRR]QDF]D*HW\ONRF] ü]DNUHVXIXQNFMLsigmoidalnej jest wy-

korzystana. Dla znormalizowanych X i dowolnego W zakres argumentu

VLJPRLG\ OH*\ Z

przedziale [

−

|W|,+|W|].

6LJPRLGDXQLSRODUQDPDPDNV\PDOQNU]\ZL]Q RNRáRZDUWRFL

±

2.4

LGODWHJRZDJLPQLHMV]HRGWHMZDUWRFLR]QDF]DM*HVLHüE G]LHG]LDáDüZREV]DU]HSUDZLH
liniowym. Metody

UHJXODU\]DFMLGRGDMF]áRQ\NDU\GRIXQNFMLEá GXVS\FKDMFZDJLGRPa-

á\FKZDUWRFLLW\PVDP\PZ\JáDG]DMFGRSDVRZDQLHVLHFLGRGDQ\FKWUHQLQJRZ\FK'ODQLe-

NWyU\FKGDQ\FKSROHSV]DWRJHQHUDOL]DFM VLHFL-HOLMHGQDNSRWU]HEQHVRVWUHJUDQLFHGHF\]ML

OXEVLOQHQLHOLQLRZRFLUHJXODU\]DFMDPR*HSRJRUV]\üJHQHUDOL]DFM 
W perceptronach wielowarstwowych funkcje

VLJPRLGDOQH RFHQLDM ZSá\Z ZDJ ]DOH*QLH RG

RGOHJáRFLSRPL G]\ZDJDPLDZHNWRUDPLWUHQLQJRZ\PL:VLHFLDFKW\SX5%)X*\ZDQHV

(XNOLGHVRZH PLDU\ RGOHJáRFL d(R,X)=||X-R|| i eksponencjalne funkcje wagowe exp(

−

d

2

).

=PLHQLDMFIXQNFM RGOHJáRFLZUyZQDQLX(13)QSX*\ZDMFPLDU RGOHJáRFLMinkowskie-

JRPR*QDWZRU]\üQRZHW\S\VLHFLQHXURQRZ\FKQD]ZDQHSU]H]QDV'XFKLLQQL'
MLP (od Distance-based MLPs).

1DU\VXQNDFKSU]HGVWDZLRQ\MHVWHIHNWZSURZDG]HQLDGRGDWNRZHJRZ\PLDUXQDNV]WDáWJUa-
nic decyzji dla danych

,ULV&KRFLD*WHGDQHPDMFHFK\GODZ\JRG\SRND]DQRW\ONRGZLH

RVWDWQLH FHFK\ SR]ZDODMFH QD ]QDOH]LHQLH RSW\PDOQHJR ] SXQNWX ZLG]HQLD JHQHUDOL]DFML

UR]ZL]DQLDRGSRZLDGDMFHJRFRQDMZ\*HMEá GRP0LQLPDOQDVLHü0/3PDZW\PSU]y-

SDGNXGZDZHMFLDQHXURQ\XNU\WHLZ\MFLDSRMHGQ\PGODNODV\DMHMJUDQLFHGHF\]ML

SRND]DQHVQDU\VXQNXSRQL*HM

13

:SURZDG]HQLHGRGDWNRZHJRZ\PLDUXSR]ZDOD]UH]\JQRZDü]XNU\W\FKQHXURQyZSR]RVWa-

ZLDMF W\ONR  QHXURQ\ ZHMFLRZH L  QHXURQ\ Z\MFLRZH =DVWRVXMHP\ XRJyOQLRQ PLDU
Minkowskiego

(

)

(

)

1

, ;

,

N

i

i

i

i

d

s d A B

α

β

=

=

∑

A B s

Dla

α

= 1 i

β

 GRVWDMHP\ZUyZQDQLXNZDGUDWRGOHJáRFLRGSRZLDGDMF\]Z\Ná\P

KLSHUSáDV]F]\]QRPGOD

α

=

β

 GRVWDMHP\RGOHJáRü(XNOLGHVRZRGSRZLDGDMFSRZVWa-

QLXMHGQRVWHNNRáRZ\FK'OD

α

=2 a

β

GX*HJRQS

β

 NV]WDáWJUDQLFGHF\]ML]EOL*DVL GR

SURVWRNWQHJR7HGZDSU]\SDGNLSRND]DQH]RVWDá\QDU\VXQNDFKSRQL*HM'OD

β

=1 lub mniej-

V]HJR NV]WDáW JUDQLF GHF\]ML UREL VL  SRF]WNRZR URPERLGDOQ\ D Sy(QLHM SU]\ELHUD NV]WDáW

ZNO Vá\MDNSRND]DQRQDGZyFKNROHMQ\FKU\VXQNDFK

Granice decyzji dla

α

=

β

= 2 oraz

α

= 2,

β

= 7

14

Granice decyzji dla

α

= 2,

β

= 1 oraz

α

= 2,

β

= 0.5

4.

3DPL üDVRFMDF\MQDG

o

SHáQLDQLHZ]RUFyZLEUDNXMFHZDUWRFL

0HWRG\QDOH*FHGRVFKHPDWX6%0WDNLHMDNPHWRG\QDMEOL*V]\FKVVLDGyZPR*QDZQDWu-

UDOQ\VSRVyEZ\NRU]\VWDüMDNRSDPL üDXWROXEKHWHURDVRFMDF\MQ0DMFGDQ\ZHNWRUX=
(X

d

, X

n

), w którym X

d

WRZDUWRFL]QDQHDX

n

WRZDUWRFLV]XNDQHPR*HP\V]XNDüQDMEDr-

dziej podobnych wektorów w podprzestrzeni znanych cech X

d

%UDNXMFHZDUWRFLFHFKX

n

PR*QDRNUHOLü]DSRPRFLQWHUSRODFMLELRUFk QDMEOL*V]\FKZHNWRUyZUHIHUHQF\MQ\FK-HOL
znana jest klasa wektora X

WRPR*QDVL RJUDQLF]\üW\ONRGRZHNWRUyZUHIHUHQF\MQ\FK]WHM

NODV\MHOLNODVDQLHMHVW]QDQDWRQDOH*\Z\EUDüZHNWRU\]NODV\GRPLQXMFHMZSREOL*XX

d

.

/LF]E VVLDGyZkPR*QD]RSW\PDOL]RZDüZSRGSU]HVWU]HQLX

d

Z\NRQXMFRGSRZLHGQLHWe-

sty.

8]XSHáQLDQLHEUDNXMF\FKZDUWRFL]UHDOL]RZDüPR*QDQDNLONDVSRVREyZ:ZLHOXSU]\SDd-

NDFKZHNWRU\]DZLHUDMFHEUDNXMFHZDUWRFLXVXZDQHV]H]ELRUXWUHQLQJRZHJROXEZVWa-

ZLDQHVXUHGQLRQHOXEQDMF] FLHMVSRW\NDQHZDUWRFL3URZDG]LWRGRXWUDW\FHQQHMLQIRr-

PDFMLOXEZSURZDG]DP\OQLQIRUPDFM 1DSU]\NáDGGDQHÄechocardiogram” z repozytorium
UCI (Mertz i

0XUSK\]DZLHUDMZHNWRU\RFHFKDFK]NWyU\FKW\ONRFHFK\

VX*\WHF]QHGUXJD]QLFKWRNODVD%UDNXMHZDUWRFLGODFHFK\ZDUWRFLGODFHFK\

LWG-HOLFHFK\]DZLHUDMFHEUDNXMFHZDUWRFL]RVWDQ]LJQRURZDQHX*\ZDMFVLHFL)60]
gaussowskimi funkcjami transferu (Duch i Diercksen 1995; Duch i inni 1997) 10-krotna
stratyfikowana

NURVZDOLGDFMDGDMHGRNáDGQRüGODUHGQLHMOLF]E\QHXURQyZUyZQHM

:NRQVWUXNW\ZLVW\F]Q\PDOJRU\WPLHMDNLPSRVáXJXMHVL )60SRZVWDMUy*QHOLF]E\QHXUo-

QyZGODUy*Q\FKSRG]LDáyZGDQ\FK/LF]EDWZRU]RQ\FKQHXURQyZ]DOH*QDMHVWRG]áR*RQRFL
danych.

:VWDZLDQLH ZDUWRFL UHGQLFK GOD ZV]\VWNLFK NODV ]PQLHMV]\áR GRNáDGQRü GR  SU]\

UHGQLRQHXURQDFKDZVWDZLDQLHQLHW\SRZ\FKZDUWRFLQS±REQL*\áRGRNáDGQRü

MHV]F]HEDUG]LHMGRSU]\UHGQLRQHXURQDFK'DQHHepatitis, z tego samego repo-

]\WRULXP 8&, PDM  ZHNWRUyZ R  FHFKDFK  ] QLFK WR FHFK\ ELQDUQH D SR]RVWDáH

SU]\MPXMNLONDZDUWRFLFDáNRZLW\FK2VWDWQLDFHFKDPDEUDNXMF\FKZDUWRFLFHFKD

PDEUDNXMF\FKZDUWRFLLWG,JQRURZDQLHFHFK]DZLHUDMF\FKEUDNXMFHZDUWRFLGOD
krotnej stratyfikowanej

NURVZDOLGDFML GDMH GRNáDGQRü  SU]\ UHGQLR  QHXURQDFK

ZVWDZLDQLHUHGQLFKGDMHQHXURQyZDZVWDZLHQLHZDUWRFLQLHW\SRZHM

QHXURQyZ3RGREQH]DFKRZDQLH]DREVHUZRZDüPR*QDQDLQQ\FKGDQ\FK
=Dáy*P\*HGZXZ\PLDURZHZHNWRU\VNXSLRQHVZRNyáGZyFKFHQWUyZRUD]D

SLHUZV]HVNXSLHQLH]DZLHUDGZDUD]\ZL FHMZHNWRUyZQL*GUXJLH:H(P\ZHNWRUX dla któ-
rego pierwsza cecha X

1

DGUXJDMHVWQLH]QDQD3RV]XNXMFVVLDGyZZHNWRUDX w pod-

15

przestrzeni X

1

LLQWHUSROXMFZDUWRüX

2

QDSRGVWDZLHZDUWRFL]QDOH]LRQ\FKZZHNWRUDFKUe-

IHUHQF\MQ\FK]QDMG]LHP\SU]\EOL*RQSRSUDZQZDUWRüRNRáR8*\ZDMFZDUWRFLUHd-

QLFK OXE ZDUWRFL QDMF] FLHM Z\VW SXMF\FK RWU]\PDP\ QLHSUDZLGáRZ ZDUWRü EOLVN 

0DP\WXGRF]\QLHQLD]H]QDQ\PZVWDW\VW\FHG\OHPDWHPZRSDUFLXRMDNJUXS GDQ\FK

PR*QDURELüSU]HZLG\ZDQLD"3RZLQQ\WRE\üGDQHQDMEDUG]LHMVSHF\ILF]QHW]QGDQHGRWy-

F]FHORNDOQ\FKVNXSLHDQLHUHGQLHOXEQDMF] FLHMZ\VW SXMFHZDUWRFL'\OHPDWSROHJD

QDW\P*HLPEDUG]LHMVSHF\ILF]QHVNXSLHQLDUR]SDWUXMHP\W\PPQLHMOLF]QHVGDQHQDSRd-

VWDZLHNWyU\FKPR*HP\GRNRQDüLQWHUSRODFML
:ZLHOX]DVWRVRZDQLDFKGDQH]ELHUDQHVZVSRVyEKLHUDUFKLF]Q\SRF]WNRZDJUXSDWHVWyZ

SR]ZDODVWDZLDüKLSRWH]\NWyUHVQDVW SQLHSRWZLHUG]DQHOXERGU]XFDQHSU]H]NROHMQHWHVW\

2GNU\FLH WDNLHM KLHUDUFKLF]QHM VWUXNWXU\ QD SRGVWDZLH VDP\FK GDQ\FK MHVW GX*\P Z\]Za-

QLHP àF]QD DQDOL]D NZHVWLRQDULXV]\ ] Uy*Q\FK EDGD SRZLQQD UR]Uy*QLDü GZLH V\WXDFMH

EUDNRGSRZLHG]LQD]DGDQHS\WDQLDRUD]EUDNRGSRZLHG]LSRQLHZD*S\WDQLHQLH]RVWDáR]DGa-
ne. W statystyce problem ten znany jest jako „wielokrotna imputacja danych” (multiple im-
putation

LUR]SDWU\ZDQ\F] VWRZNRQWHNFLHDQDOL]\SUHIHUHQFMLSROLW\F]Q\FKRNUHODQ\FK]D

SRPRF NZHVWLRQDULXV]\ SU]H] Uy*QH LQVW\WXFMH 6WDQGDUGRZD WHRULD SRFKRG]FD RG Rubina

RSLHUDVL QD]DáR*HQLDFKRJDXVVRZVNLPUR]NáDG]LHGDQ\FK=DáR*HQLDWHF] VWRQLHV
spe

ánione.

: NRQWHNFLH PHWRG RSDUW\FK QD SRGRELHVWZLH ]DVWRVRZDü PR*QD X]XSHáQLDQLH ZDUWRFL

ZHNWRUyZWUHQLQJRZ\FKRSDUWHQDLQWHUSRODFMLZDUWRFLSREOLVNLFKZHNWRUyZ3RX]XSHáQLHQLX

ZHNWRU\ WH Z\NRU]\VW\ZDQH V GR XF]HQLD PRGHOX 1DMEDUG]LHM SUDZGRSRGREQH QLH]QDQH

ZDUWRFLRFHQLüPR*QDPDNV\PDOL]XMF

(

)

'

',

(

|

;

)

max (

|

,

;

)

u

d

i

d

u

u i

P

M

P C

M

=

X

X

X X

dla danego modelu M

VWRSQLRZRGRVNRQDORQHJRG]L NLGRGDZDQLXGRED]\UHIHUHQF\MQHMFo-

UD]ZL NV]HMOLF]E\ZHNWRUyZ]X]XSHáQLRQ\PLEUDNXMF\PLZDUWRFLDPL3RV]XNLZDQLDPDk-

VLPXP SUDZGRSRGRELHVWZD GRNRQ\ZDQH V Z SRGSU]HVWU]HQL FHFK R QLH]QDQ\FK ZDUWo-

FLDFKGODXVWDORQ\FKZDUWRFLX

d

-HOLEUDNXMHW\ONRMHGQDZDUWRüPR*QDMX]XSHáQLüGo-

NRQXMF MHGQRZ\PLDURZHJR SU]HV]XNLZDQLD ORNDOQHJR PDNVLPXP 3RF]WNRZ\ PRGHO M

RSDUW\MHVWQDZHNWRUDFKQLH]DZLHUDMF\FKEUDNXMF\FKGDQ\FK-HOLWDNLFKZHNWRUyZQLHPD

QDOH*\ ]QDOH(ü QDMZL NV]\ ]ELyU ZHNWRUyZ WUHQLQJRZ\FK NWyUH PDM QDMZL FHM ]QDQ\FK

ZVSyOQ\FKFHFK7DNZL FFHFKDNWyUDQLHPDGODZL NV]RFLZHNWRUyZRNUHORQ\FKZDUWRFL

QLHMHVWEUDQDSRGXZDJ ZNRQVWUXNFMLSRF]WNRZHJRPRGHOXMHGQDN*HQDSy(QLHMV]\PHWa-

SLH ]QDMG\ZDQH V MHM QDMEDUG]LHM SUDZGRSRGREQH ZDUWRFL L PRGHO NRU\JRZDQ\ MHVW SU]\

X*\FLX ZHNWRUyZ ]DZLHUDMF\FK ZV]\VWNLH FHFK\ 1D ND*G\P NURNX QDOH*\ MHGQDN VSUDw-

G]DüF]\GRGDZDQLHQRZHMFHFK\LVWRWQLHSROHSV]DDNWXDOQLHLVWQLHMF\PRGHOZ\NRQXMFWe-
sty

NURVZDOLGDF\MQHPR*HVL ERZLHPRND]Dü*HQRZDFHFKDQLH]DZLHUDLVWRWQ\FKLQIRUPa-

FMLLMHMXZ]JO GQLHQLHMHG\QLHSRJDUV]DZ\QLNL
'ODVLOQLH]DVREVSU] *RQ\FKFHFKSUREOHPZ\ERUXSRF]WNRZ\FKFHFKMDNLSRU]GNXZ

NWyU\PX]XSHáQLDQHVEUDNXMFHZDUWRFLPR*HE\üEDUG]R]áR*RQ\1LHPDZL FJZDUDQFML

*HXGDVL ]QDOH(üPRGHORSW\PDOQ\:SUDNW\FHVLHFLRZDUHDOL]DFMDPRGHOL6%0]QDF]QLH

XáDWZLD SRV]XNLZDQLH PDNV\PDOQLH SUDZGRSRGREQ\FK ZDUWRFL JG\* ]DPLDVW NRV]WRZQ\FK

SURFHVyZV]XNDQLD Z ZLHORZ\PLDURZ\FK SU]HVWU]HQLDFK Z\VWDUF]\ VSUDZG]Lü ZLHONRü So-

EXG]HSRV]F]HJyOQ\FKZ ]áyZVLHFLLX*\üJUDGLHQWRZ\FKPHWRGZREV]DU]HEOLVNLPFHn-

WUXPZ ]áDQDMEDUG]LHMZ]EXG]RQHJR3RQLHZD*VLHFLRIHUXMDQDOLW\F]QHSU]\EOL*HQLHGRZy-

UD*H QD J VWRFL SUDZGRSRGRELHVWZD PR*QD WH* ]DVWRVRZDü VWDW\VW\F]QH PHWRG\ SUyENo-
wania danych (Neal 1996).

16

=DVWRVRZDQLH RSLVDQHM SRZ\*HM PHWRG\ PDNV\PDOL]DFML SUDZGRSRGRELHVWZD GOD echokar-

GLRJUDPyZSRSUDZLáR Z\QLNL WHVWyZ NURVZDOLGDF\MQ\FK GDMF GRNáDGQRü  L ]PQLHj-

V]DMFOLF]E QHXURQyZGR'ODGDQ\FKKHSDWLWLVRWU]\PXMHP\GODUHGQLRQHu-

URQyZ=DUyZQRGRNáDGQRüMDNL]áR*RQRüV\VWHPXXOHJá\Z\UD(QHMSRSUDZLH

5. Implementacja i realizacja sieciowa

/LF]EDPR*OLZ\FKZDULDQWyZPHWRGRSDUW\FKQDSRGRELHVWZLHMHVWEDUG]RGX*DLQDUD]LHMe-

G\QLHF] ü]RSLVDQ\FKWXDOJRU\WPyZ]RVWDáD]DLPSOHPHQWRZDQDZUR]ZLMDQ\PSU]H]QDV

V\VWHPLH:QDMSURVWV]HM]QLFKPHWRG]LHQDMEOL*V]\FKVVLDGyZREOLF]DVL ZV]\VWNLHRGOe-

JáRFL RG ZHNWRUD WHVWRZHJR GR ZHNWRUyZ WUHQLQJRZ\FK Z\ELHUDMF k QDMEOL*V]\FK 7DNL

V\VWHPSRWU]HEXMHQLHZLHOHF]DVXQDRSW\PDOL]DFM SDUDPHWUyZZQDMSURVWV]\PSU]\SDGNX

MHVWWRW\ONROLF]EDVVLDGyZkDOHMHVWVWRVXQNRZRZROQ\QDHWDSLHNODV\ILNDFML&KRFLD*La-
aksonen i

2MD  WZLHUG] *H Ä GOD ED] GDQ\FK FKDUDNWHU\]XMF\FK VL  QLH]E\W GX*

Z\PLDURZRFLGDQ\FKWUXGQR]QDOH(üZDULDQWPHWRG\k11NWyU\E\áE\]QDF]FRV]\EV]\

QL*PHWRGDbrute force´Uy*QHXVSUDZQLHQLDSU]\VSLHV]DMFHG]LDáDQLHWHJRDOJRU\WPX]RVWDá\
opisane w literaturze (np. Daelemans 1998).

:QDV]\PV\VWHPLHVWRVXMHP\EXIRURZDQLHWDEOLF\RGOHJáRFLSODQXMHP\]DLPSOHPHQWRZDü

UyZQLH* LQQH XVSUDZQLHQLD 3DPL WDQD MHVW WDEOLFD ] REOLF]RQ\PL RGOHJáRFLDPL PL G]\
wektorami treningowymi (dla potrzeb testu leave-one-out lub

NURVZDOLGDFML RUD]MHOLSOLN

WHVWRZ\MHVWZ\G]LHORQ\WDEOLFDRGOHJáRFLPL G]\ZHNWRUDPLWUHQLQJRZ\PLDWHVWRZ\PL:

SU]\SDGNXZLHORNURWQ\FKREOLF]HQDWHMVDPHMED]LHGDQ\FKQSZF]DVLHRSW\PDOL]DFMLSa-

UDPHWUyZNODV\ILNDWRUDMX*GODNLONXG]LHVL FLXDWU\EXWyZPR*QD]QDF]QLH]UHGXNRZDüF]DV

REOLF]H-HOLNODV\ILNDFMLE G]LHP\GRNRQ\ZDüF] VWRQDW\FKVDP\FKGDQ\FKLQQ\PURz-

ZL]DQLHPMHVW]PQLHMV]HQLHED]\WUHQLQJRZHM]DSRPRFVHOHNFMLZHNWRUyZUHIHUHncyjnych.

Realizacja sieciowa

$OJRU\WPPHWRG\QDMEOL*V]\FKVVLDGyZPR*H]RVWDüSU]HGVWDZLRQ\ZSRVWDFLVLHFLNWyUDPD

Z ]á\ XNU\WH REOLF]DMFH RGOHJáRFL d(X, R

p

). k

 Z ]áyZ R QDMPQLHMV]HM RGOHJáRFL REOLF]D

HW\NLHW NODV\h(X, R

p

) = C

j

DSR]RVWDáHZ ]á\GDMh

j

(X, R

p

 :DUVWZDZ\MFLRZDVLHFL

REOLF]DSUDZGRSRGRELHVWZDNRU]\VWDMF]HZ]RUyZ

P

M

h

p

M

P

M

P

M

i

ij

j

j

i

i

i

i

C X

W

X

C X

C X

C X

| ;

( ),

| ;

| ;

| ;

1

6

1

6 1

6

1

6

=

⋅

=

∑

∑

(14)

Wagi

W

ij

GODSRáF]H]MHGQRVWNDPLZ\MFLRZ\PLREOLF]DMF\PLSUDZGRSRGRELHVWZDGOD

poszczególnych klas C

i

SU]\MPXMZDUWRFLW

ij

= S(C

i

, C

j

)/C

j

, gdzie S(

⋅

MHVWPDFLHU]RFe-

QLDMFSRGRELHVWZRSRPL G]\NODVDPL:SU]\SDGNXWUDG\F\MQHMPHWRG\k-NN zamiast tej

PDFLHU]\ X*\ZD VL  GHOW\ .URQHFNHUD .D*G\ ZHNWRU QDOH*F\ GR k QDMEOL*V]\FK VVLDGyZ

ZQRVLZNáDGRZDUWRFLS(C

i

, C

j

GRSUDZGRSRGRELHVWZDGODNODV\C

i

. Struktura sieci przed-

VWDZLRQD MHVW QD U\VXQNX SRZ\*HM -DNR IXQNFM  NRV]WX SRGOHJDMF RSW\PDOL]DFML PR*QD

SU]\Mü

E

M

R

p

M

i

i

i

i

(

;

)

,

| ;

,

W

C C X

C X

C C X

X

=

−

∑

∑

1 6

2

7 1

6

1 6

2

7

3

8

δ

2

(15)

17

gdzie model M zawiera k jako parametr i S(C

i

, C

j

)

MHVWPDFLHU]SRGRELHVWZPL G]\NODVo-

Z\FK&KFF]PLQLPDOL]RZDüOLF]E Eá GyZNODV\ILNDFMLSUDZGRSRGRELHVWZDSRZLQQ\E\ü

]DPLHQLRQHQDZDUWRFLELQDUQHSU]H]SURFHGXU ÄZ\JU\ZDMF\ELHU]HZV]\VWNR´:DJL

Z\MFLRZHUyZQHSRF]WNRZRW

ij

= S(C

i

, C

j

)/C

j

PRJE\üWUDNWRZDQHMDNRSDUDPHWU\DGDp-

WDF\MQH:SURZDG]HQLHVNDORZDQLDZSá\ZXZHNWRUyZUHIHUHQF\MQ\FKG(d(

⋅

)) pozwala na za-

stosowanie gradientowych metod optymalizacji.

'ODZLHOXED]GDQ\FK]ZáDV]F]DGODREUD]yZWDNDVLHüSRZLQQDG]LDáDüOHSLHMQL*VLHFLW\SX

0/3LLQQHNODV\ILNDWRU\MDNR*HUH]XOWDW\SRZLQQ\E\üQLHJRUV]HQL*WHRWU]\PDQH]NOa-
sycznej metody k-NN (por. Michie i inni 1994).

3RMHG\QF]\QHXURQGRVWDUF]DMF\KLSHUSáDV]F]\]Q\JUDQLF]QHMPR*QD]DVWSLüRGSRZLHGQLR

XPLHMVFRZLRQ\PZHNWRUHPUHIHUHQF\MQ\P8*\ZDMFUy*Q\FKIXQNFMLRGOHJáRFLPR*HP\Z

]QDF]QHMPLHU]HZSá\ZDüQDNV]WDáWJUDQLFGHF\]ML-HOLPDP\W\ONRMHGHQZHNWRUUHIHUHn-
cyjny R

i

GODND*GHMNODV\SU]\QDOH*QRüGRGDQHMNODV\RNUHORQDMHVWSU]H]IXQNFM G\VNUy-

PLQDF\MQ'ODGZyFKNODVPDRQDSRVWDü

(

)

(

)

1

1

2

2

( )

,

,

z

W D

W D

θ

=

−

−

X

X R

X R

gdzie próg

θ

MHVWSDUDPHWUHPDGDSWDF\MQ\P5D]HP]ZDJDPLRUD]SRáR*HQLDPLZHNWRUyZ

referencyjnych daje to 2n+3 parametry adaptacyjne (dla n-wymiarowych wektorów). Przed-

VWDZLDMF REOLF]HQLD IXQNFML G\VNU\PLQDF\MQ\FK Z SRVWDFL VLHFL QDOH*\ ZSURZDG]Lü Z ]Há

Z\MFLRZ\VXPXMF\ZDUWRFLIXQNFMLG\VNU\PLQXMF\FKSRSURWRW\SDFKSU]\SLVDQ\FKGRSo-
szczególnych klas:

X

1

X

2

X

3

X

4

X C

1

1

,

X C

2

1

,

X C

3

2

,

X C

4

2

,

X C

5

3

,

p

M

C X

1

| ;

1

6

p

M

C X

2

| ;

1

6

p

M

C X

3

| ;

1

6

Rys. 1. Sieciowe uogólnienie metody k-NN.

18

(

)

(

)

1

2

( )

,

,

i

i

i

i

i C

i C

z

W D

W D

θ

∈

∈

=

−

−

∑

∑

X

X R

X R

6NDORZDQLHFDáHMVXP\]DPLDVWSRV]F]HJyOQ\FKRGOHJáRFL]PQLHMV]DOLF]E SDUDPHWUyZDd-

DSWDF\MQ\FKXSUDV]F]DMFNV]WDáW\PR*OLZ\FKGRRWU]\PDQLDJUDQLFGHF\]ML:HNWRU\UHIHUHn-

F\MQH PR*QD Z\EUDü ] ED]\ WUHQLQJRZHM L ]RSW\PDOL]RZDü ]D SRPRF DOJRU\WPX /94 OXE

PLQLPDOL]XMF RGSRZLHGQL IXQNFM  NRV]WX 1D U\VXQNX SU]HGVWDZLRQR JUDQLFH GHF\]ML GOD

SU]\SDGNXGZXZ\PLDURZHJRZNWyU\PZ\Uy*QLRQRSURWRW\S\SRMHGQ\PGODNODV\:DJD

SLHUZV]HJRSURWRW\SXMHVWUD]\ZL NV]DQL*SR]RVWDáHZDJL3RV]F]HJyOQHU\VXQNLRGSRZLa-

GDMUy*Q\PZDUWRFLRPZ\NáDGQLNyZGODRGOHJáRFLMinkowskiego.

6.

3U]\NáDGRZHZ\QLNL

1DZHWZVZRMHMQDMSURVWV]HMSRVWDFLPHWRGDQDMEOL*V]\FKVVLDGyZGDáDZHPSLU\F]Q\FKSo-
równaniach projektu STATLOG (Michie i inni, 1994) w 4 z 22 baz danych najlepsze rezultaty

LZQDVW SQ\FKSUDZLHQDMOHSV]HUH]XOWDW\'RW\F]\WR]ZáDV]F]DED]GDQ\FK]ZL]DQ\FK]

REUD]DPL3URVWHPRG\ILNDFMHWHMPHWRG\WDNLHMDNVHOHNFMDFHFKRSW\PDOL]DFMDOLF]E\VVLa-

GyZLIXQNFMLRGOHJáRFLSR]ZROLá\QDPQDRVLJQL FLHQDMOHSV]\FKUH]XOWDWyZZSRQDGSRáo-
wie wszystkich przypadków.

19

Metoda

%, zbiór
trening.

%, zbiór
testowy

Uwagi

IB2-IB4

81.2-85.5

43.6-44.6 WEKA, nasze obliczenia

Klasyfikator Bayesowski

--

46.6 WEKA, nasze obliczenia

1R (

UHJXáRZ\

58.4

50.3 WEKA, nasze obliczenia

7UHJXá\]GU]HZDGHF\]ML

67.5

53.3 WEKA, nasze obliczenia

FOIL (indukcja, logiczny)

99

60.1 WEKA, nasze obliczenia

)60NODV\F]Q\FKUHJXá

Logicznych

83.5

63.2 FSM, nasze obliczenia

LDA (liniowa dyskryminacja)

68.4

65.0 nasze obliczenia

'/94Z ]áyZ

100

66.0 nasze obliczenia

&±UHJXá\]GU]HZDGHF\]ML

64.5

66.3 nasze obliczenia

Najlepsze rozmyte MLP

75.5

66.3 Mitra i inni (1997)

MLP z algorytmem RPROP

68.0 nasze obliczenia

MLP – Korelacja Kaskadowa

71.0 nasze obliczenia

5R]P\WDVLHüQHXURQRZD

100

75.5 Hayashi i inni (1990)

C4.5 drzewo decyzji

94.4

75.5 nasze obliczenia

FSM, funkcje Gaussa

93

75.6 nasze obliczenia

)60IXQNFMLWUyMNWQ\FK

93

75.8 nasze obliczenia

IB1c (

PLQLPDOQRRGOHJáRFLRZD

--

76.7 WEKA, nasze obliczenia

1-NN, Manhattan

79.1

77.9 nasze obliczenia

K* method

--

78.5 WEKA, nasze obliczenia

1-NN, bez 4 cech, Manhattan

76.9

80.4 nasze obliczenia, KG

11ZD*RQH$6$

83.4

82.8 nasze obliczenia, KG

'ODQLHNWyU\FKED]GDQ\FKQSSUREOHPyZ]ZWUREÄhepatobiliary disorders”, zbiór otrzy-
many z Tokyo Dental and Medical University (Hayashi i inni 1990)

]DZLHUDMF\SU]y-

SDGNyZZHNWRU\WHVWRZHFHFKLNODV\RVLJQL WHSU]H]QDVZ\QLNLV]QDF]QLHOHp-

V]\QL*Z\QLNLRWU]\PDQH]DSRPRFNLONXQDVWXLQQ\FKPHWRG]DVWRVRZDQ\FKZW\PSU]y-
padku (WEKA jest pakietem programów otrzymanym z Waikato University, Nowa Zelandia).

1DMOHSV]HZ\QLNLXGDáRVL RVLJQüVWRVXMFQDMSLHUZVHOHNFM DSRWHPVNDORZDQLHSR]RVWa-

á\FKFHFK:\QLNR]EOL*RQHMGRNáDGQRFLGDáWH*NRPLWHWVLHFL)60'XFKLLQQL0o-

GHOWHQPLHFLVL UyZQLH*ZVFKemacie metod SBM.

7. Podsumowanie

6FKHPDWPHWRGRSDUW\FKQDSRGRELHVWZLHMHVWEDUG]RERJDW\]DZLHUDZVRELHZQDWXUDOQ\

VSRVyEZL NV]RüPRGHOLVLHFLQHXURQRZ\FKLLQQ\FKNODV\ILNDWRUyZ-HJR]DVWRVRZDQLDQLH

RJUDQLF]DM VL  GR ]DJDGQLH ]ZL]DQ\FK ] NODV\ILNDFM 2SLVDOLP\ WX PR*OLZRFL X]XSHá-
niania wzorców (pattern completion

 SR]ZDODMFH Z\NRU]\VWDü PRGHOH 6%0 MDNR SDPL FL

hetero lub

DXWRDVRFMDF\MQH0RGHOH6%0PR*QDUyZQLH*]DVWRVRZDüGR]DJDGQLHZ\PDJa-

MF\FKZLHORZ\PLDURZHMDSURNV\PDFMLZSURZDG]DMFUy*QHPHWRG\LQWHUSRODFMLSU]\Z\No-
rzystaniu stosowanych metryk.

0DP\QDG]LHM *HEDGDQLDSURZDG]RQHZW\PNLHUXQNXSU]\QLRVGZRMDNLHNRU]\FL=MHd-

QHMVWURQ\EDGDQLDWHSRZLQQ\GRSURZDG]LüGRLQWHJUDFMLLOHSV]HJR]UR]XPLHQLD]ZL]NyZ

20

SRPL G]\ZLHORPDPHWRGDPLLQWHOLJHQFMLREOLF]HQLRZHMZ\UDVWDMF\PL]WHFKQLNUR]SR]Qa-
wania wzorców (pattern recognition), metod statystycznych, uczenia maszynowego, logiki

UR]P\WHMLVLHFLQHXURQRZ\FK=GUXJLHMVWURQ\UR]ZLMDP\RSURJUDPRZDQLHNWyUHGRELHUDMF

QDMEDUG]LHMRGSRZLHGQLPHWRG QDOH*FGRVFKHPDWX6%0GRDQDOL]RZDQ\FKGDQ\FKSo-

ZLQQRGDüUH]XOWDW\VWDW\VW\F]QLHQLHRGUy*QLDOQHRGQDMOHSV]\FKMDNLHPR*QDX]\VNDü3U]y-

F]\Q VWRVXQNRZR QLHZLHONLHM SRSXODUQRFL PHWRG RSDUW\FK QD SRGRELHVWZLH MHVW SU]HGH

ZV]\VWNLPEUDNSRZV]HFKQLHGRVW SQHJRRSURJUDPRZDQLD
3RG]L NRZDQLD Za wsparcie finansowe w ramach grantu QU  7)   MHVWHP\

ZG]L F]QL.RPLWHWRZL%DGD1DXNRZ\FK-HVWHP\UyZQLH*ZG]L F]QL5DIDáRZLAdamcza-

NRZL]DGRVWDUF]HQLHZ\QLNyZGRW\F]F\FKX]XSHáQLDQLDGDQ\FK]DSRPRFVLHFL)60RUD]

Z\NRQDQLHREOLF]HSRUyZQDZF]\FK]DSRPRFSDNLHWX:(.$

Literatura

Breiman L., The heuristics of instability in model selection. Annals of Statistics 24 (1996)
2350-2383

Breiman L., Bias-Variance, regularization, instability and stabilization. W: C. Bishop, ed.
Neural Networks and Machine Learning. Springer 1998

Daelemans W., Zavrel J., Ko van der Sloot, Antal van den Bosh, (1998) TiMBL: Tilburg
Memory Based Learner, version 1.0, Reference Guide, ILK Technical Report – ILK 98-03,
http://ilk.kub.nl/~ilk/papers/ilk9803.ps.gz

Duan, Q., V.K. Gupta i S. Sorooshian, (1993): A Shuffled Complex Evolution Approach for
Effective and Efficient Global Minimization, Journal of Optimization Theory and Applica-
tions, 76 (1993) 501-521

Duch W, Adamczak R, Jankowski N. (!997): Initialization of adaptive parameters in density
networks, Third Conference on Neural Networks and Their Applications, Kule,

3D(G]LHUQLN

1997, pp. 99-104

Duch W., Adamczak R., Jankowski N. (1997a): New developments in the Feature Space
Mapping model, 3

rd

Conference on Neural Networks and Their Applications, Kule,

3D(d-

ziernik 1997, pp. 65-70;

Duch W, Adamczak R, (1998): Statistical methods for construction of neural networks. Inter-
national Conference on Neural Information Processing, ICONIP’98, Kitakyushu, Japonia,

3D(dziernik 1998, Vol. 2, pp. 629-642
Duch W i Jankowski N, (1999): Survey of neural transfer functions, Neural Computing Sur-
veys 2 (1999) 163-213

Duch W., Diercksen G.H.F., (1995): Feature Space Mapping as a universal adaptive system.
Computer Physics Communications 87 (1995) 341-371
'XFK : L *UXG]LVNL .  Weighting and selection of features in Similarity Based
Methods. Intelligent Information Systems

9,,,8VWURPoland, 14-18.06.1999, pp. 32-36

'XFK:L*UXG]LVNL.DSearch and global minimization in similarity-based meth-
ods. International Joint Conference on Neural Networks (IJCNN’99), Washington, July 1999,
praca #742

Duch W. i Korczak J.: Optimization and global minimization methods suitable for neural
networks, Neural Computing Surveys

Z\VáDQH

21

Fernandez M., Hernandez C., (1999): Neural networks input selection by using the training
set, Proc. of the 1999 IEEE International Joint Conference on Neural Networks, Washington
D.C., 1999 (w druku)

Gupta H.V., Hsu K. i S. Sorooshian, Superior training of artificial neural networks using
weight-space partitioning, W Proc. of International Conference on Neural Networks, pp.
1919-1923, Houston, USA, 1997

Hayashi Y., Imura A., Yoshida, K. (1990): Fuzzy neural expert system and its application to
medical diagnosis, w: 8

th

International Congress on Cybernetics and Systems, New York City

1990, pp. 54-61

Ingberg L., (1996) Adaptive simulated annealing (ASA): Lessons learned, J. Control and Cy-
bernetics, 25 (1996) 33-54

Laaksonen J. i E. Oja (1996), Classification with Learning k-Nearest Neighbors. W: Proc. of
ICNN’96, Washington, D.C., June 1996, pp. 1480-1483

Merz C.J., Using Correspondence Analysis to Combine Classifiers. Machine Learning 36
(1999) 33-58

Mertz C.J., Murphy P. M., UCI repository,
http://www.ics.uci.edu/pub/machine-learning-databases

Michie D., Spiegelhalter D.J., Taylor C.C., Machine learning, neural and statistical classifi-
cation, Elis Horwood, London 1994

Neal R.M, Bayesian Learning in Neural Networks. Springer Lecture Notes in Statistics vol.
118 (1996)

Nelder, J.A., and Mead, R., Computer Journal 7 (1965) 308-313

Rubin D.B., Multiple imputation after 18+ years. J. of the American Statistical Association
91 (1996) 473-489

Rohwer R. i Morciniec M., A Theoretical and Experimental Account of n-tuple Classifier
Performance, Neural Computation 8 (1996) 657-670

Wilson D.R. i Martinez T.R., Improved Heterogeneous Distance Functions, Journal of Artifi-
cial Intelligence Research 6 (1997) 1-34