Modele i metody

eksploracji danych

Transformacja danych

Podstawowymi pojęciami w eksploracji danych są pojęcia

obiektu

i

cechy

(atrybutu)

.

Obiektem

będzie się nazywać element

pewnego zbioru, badany ze względu na pewne swoje właściwości,
które noszą nazwę

cech

(atrybutów). Te same cechy dla różnych

obiektów mogą przyjmować różne

wartości

. Reprezentantem

obiektu w bazie danych jest zwykle rekord, a wartości cech
charakteryzujących ten obiekt – pola tego rekordu, przy czym
cechami są nazwy pół rekordu, jednakowe dla wszystkich
obiektów-rekordów.
Przyjmuje się następujące oznaczenia:

•I={1,2,…,n}

– zbiór numerów obiektów, będących przedmiotem

eksploracji,

•J={1,2,…,m}

– zbiór numerów cech opisujących każdy obiekt ze

zbioru

O

,

•X={X

1

,X

2

,…,X

m

}

- zbiór wektorów wartości cech obiektów postaci:

przy czym wiersz (rekord)

X

i

=(x

i1

, x

i2

, …, x

im

)

odpowiada

jednemu obiektowi o numerze

i

, a kolumna

X

j

=(x

1j

, x

2j

, …, x

nj

)

–

wektorowi wartości cechy o numerze

j

.

Pojęcia podstawowe

11

12

1m

21

22

2m

ij n m

n1

n2

nm

x

x

… x

x

x

… x

X = x

,

…

…

… …

x

x

… x

�

�

�

�

�

�

�

� � =

� �

�

�

�

�

�

�

2

GK (PED(02) - 2010)

Metody eksploracji danych takie, jak klasyfikacja,

grupowanie czy rangowanie należą do metod

statystycznej analizy

wielowymiarowej

, który to termin oznacza grupę metod

statystycznych, umożliwiających jednoczesną analizę przynajmniej
dwóch cech (własności, atrybutów) obiektów wielocechowych, przy
czym takimi obiektami mogą być określone rzeczy, osoby,
kategorie abstrakcyjne lub zdarzenia, np. produkty spożywcze,
studenci, zjawiska przyrody, przestępstwa.

Ze względu na to, że metody eksploracji danych (ogólnie:

statystycznej analizy wielowymiarowej) z zasady wymagają, aby
wartości cech (atrybutów) badanych obiektów były liczbami
rzeczywistymi, zachodzi potrzeba uprzedniego rozpoznania skali
pomiarowej, w której są wyrażone wartości cechy obiektu.
Podstawowy katalog skal pomiarowych obejmuje skale [Stevens,
1959]:

•nominalną,

•porządkową (rangową),

•przedziałową (interwałową),

•ilorazową (stosunkową).
Skale są uporządkowane od najsłabszej do najmocniejszej według
przekształceń dopuszczalnych na wartościach cechy (danych).
Dwie pierwsze z nich noszą często nazwę skal

niemierzalnych

, a

dwie ostatnie –

mierzalnych

, co przekłada się na nazewnictwo

cech.

Skale pomiarowe

3

GK (PED(02) - 2010)

Skala nominalna:

- przyporządkowuje poszczególnym wartościom cechy wyłącznie

nazwy,

- pozwala jedynie na stwierdzenie identyczności lub różnic

porównywanych obiektów oraz na zliczanie obiektów
identycznych i różnych,

- przykład pomiaru na tej skali: przyporządkowanie płci (kobieta,

mężczyzna) porównywanym ze względu na tą cechę osobom,

- jedyną dopuszczalną procedurą arytmetyczną jest zliczanie, a

spośród procedur statystycznych - tylko te, które oparte są na
zliczaniu.

Skala porządkowa (rangowa):

- wartości cechy (liczby) oznaczają rangi, tj. kolejność obiektów,

przy czym rangi odwzorowują nie tylko równość obiektów, ale też
ich uporządkowanie pod względem rozpatrywanej cechy

(liniowe

porządkowanie obiektów), zatem można stwierdzać, czy obiekt
jest lepszy (większy) od innego, czy też gorszy (mniejszy),

- umożliwia zliczanie obiektów uporządkowanych (liczby relacji

równości (identyczności), większości i mniejszości),

- nie pozwala określić odległości między obiektami,

- przykład pomiaru na tej skali: poziom wykształcenia,

- dozwolone są w tej skali wszelkie przekształcenia liczb nie

zmieniające porządku obiektów, np. potęgowanie,
pierwiastkowanie, logarytmowanie itp.

Skale pomiarowe

4

GK (PED(02) - 2010)

Skala przedziałowa

(interwałowa):

- pozwala dodatkowo, w stosunku do skali porządkowej, obliczyć

odległości między obiektami, dokonując pomiaru wartości cech
za pomocą liczb rzeczywistych,

- dla skali tej możliwe jest, obok operacji arytmetycznych

dopuszczalnych dla skal poprzednich, także dodawanie i
odejmowanie,

- wartość zerowa na tej skali ma charakter umowny (np. 0

o

w skali

Celsjusza), co prowadzi do zachowania różnic między
wartościami cechy przy zmianie jednostek miary,

- przykład pomiaru na tej skali: średnie dochody pracowników w

przemyśle,

- wartości cech mogą być przekształcane liniowo, ponieważ

transformacja liniowa zachowuje nie tylko kolejność mierzonych
wartości cech, ale także względne ich odległości. Nie jest
natomiast dozwolone ani mnożenie, ani dzielenie, gdyż operacje
te wynikają z założenia o istnieniu rzeczywistego punktu
zerowego. Dopuszczalnymi technikami statystycznymi dla tej
skali, oprócz odpowiednich dla skal poprzednich są: średnia
arytmetyczna, wariancja, rachunek korelacji i regresji oraz
wiele testów parametrycznych

,

Skale pomiarowe

5

GK (PED(02) - 2010)

Skala ilorazowa

(stosunkowa):

- ma podobny charakter jak skala przedziałowa z tym, że

występuje na niej zero bezwzględne (zero ogranicza
lewostronnie zakres tej skali),

- pozwala dodatkowo, w stosunku do skal poprzednich,

dokonywać także dzielenia i mnożenia, a tym samym
przedstawiać dowolną wartość cechy danego obiektu jako
wielokrotność wartości cechy dla innego obiektu,

- przykład pomiaru na tej skali: waga ludzi,

- wartości cech w skali ilorazowej traktować można jako odległość

mierzoną od bezwzględnego zera. Dozwolone są tym przypadku
wszelkie operacje arytmetyczne, z mnożeniem i dzieleniem
włącznie. Również możliwe jest stosowanie dowolnych technik
statystycznych

.

Skale pomiarowe

6

GK (PED(02) - 2010)

Skale pomiarowe

Skale pomiarowe są uporządkowane od najsłabszej do
najmocniejszej: nominalna, porządkowa, przedziałowa i
ilorazowa.

7

GK (PED(02) - 2010)

Ponieważ wartości cech niemierzalnych (skala nominalna i

porządkowa) są wyrażane w postaci kategorii (poziomów) (np.
kolor oczu) ich bezpośrednie wykorzystanie w algorytmach
statystycznej analizy wielowymiarowej jest bardzo ograniczone,
zachodzi więc konieczność ich uprzedniego przekodowania na
liczby rzeczywiste. W tym zakresie wykorzystuje się najczęściej
dwa następujące sposoby przekodowywania wartości cech
niemierzalnych na liczby:

•bez względu na liczbę kategorii (poziomów) cechy,
poszczególnym jej kategoriom można przypisać kolejne liczby
naturalne w sposób dowolny, bez względu na to, czy te kategorie
można uporządkować według intensywności oddziaływania, czy
nie. Np. dla cechy zachowanie ucznia, która ma cztery kategorie:
niepoprawne, poprawne, dobre i bardzo dobre, poszczególnym
kategoriom przypisuje się kolejne liczby naturalne od 1 do 4
(niepoprawne - 1, poprawne - 2, dobre – 3, bardzo dobre – 4),

•jeżeli cecha ma tylko dwie kategorie (cecha binarna, np. płeć),
można ją zamienić na pojedynczą tzw. cechę sztuczną, najczęściej
zero-jedynkową, poprzez nadanie jednej kategorii wartości 0, a
drugiej – 1 (np. mężczyzna – 0, kobieta – 1),

Skale pomiarowe

8

GK (PED(02) - 2010)

• jeżeli cecha ma więcej niż dwie kategorie, można ją zamienić

nie

na pojedynczą cechę sztuczną, ale na zespół takich cech, także
najczęściej zero-jedynkowych, przy czym liczba wprowadzanych
cech sztucznych musi być najmniejszą liczbą całkowitą,
spełniającą następujący warunek:

2

liczba cech sztucznych

≥ liczba kategorii cechy

przekodowywanej

.

W takim przypadku reprezentowanie poszczególnych kategorii

cechy wymaga nadania odpowiednich wartości wszystkim
wprowadzonym cechom sztucznym. Np. dla cechy zachowanie
ucznia, która ma cztery kategorie: niepoprawne, poprawne,
dobre i bardzo dobre, wprowadza się 2 sztuczne cechy,
zdefiniowane następująco:

Pojęcia podstawowe

Zachowanie ucznia

Cecha

sztuczna 1

Cecha

sztuczna 2

Niepoprawne

0

0

Poprawne

0

1

Dobre

1

0

Bardzo dobre

1

1

9

GK (PED(02) - 2010)

P

odstawą stosowania wielu metod eksploracji danych jak

np. klasyfikacja, grupowanie czy rangowanie obiektów
wielocechowych jest macierz wartości cech obiektów (macierz

X

).

Istotą tych metod jest porównywanie ze sobą cech różniących się
wartościami i mianami. Aby takie porównanie było sensowne,
należy wszystkie cechy sprowadzić do porównywalnej postaci
poprzez tzw.

transformację danych

.

Cele transformacji danych:

•ujednolicenie charakteru cech obiektów (postulat jednolitej
preferencji),

•doprowadzenie różnoimiennych cech do wzajemnej
porównywalności (postulat addytywności),

•zastąpienie zróżnicowanych zakresów zmienności poszczególnych
cech zakresem stałym (postulat stałości rozstępu lub stałości
wartości ekstremalnych),

•wyeliminowanie z obliczeń wartości ujemnych (postulat
dodatniości).

Transformacja danych, w zależności od skali pomiarowej

cechy może być realizowana za pomocą wielu metod spośród,
których najczęściej stosuje się: rangowanie, normowanie
analityczne i ważenie cech.

Transformacja danych

10

GK (PED(02) - 2010)

Rangowanie cech

jest najprostszym sposobem

transformowania cech i polega na przypisaniu każdej wartości
(kategorii) cechy pewnej liczby, tzw.

rangi

, która określa pozycję

zajmowaną przez daną wartość cechy w uporządkowanym ciągu
wartości tej cechy. Najczęściej stosuje się

rangi normalne

(rangi w

postaci kolejnych liczb naturalnych)

lub

rangi Spearmana

.

Normowanie przez rangowanie można stosować do cech
mierzonych w skali porządkowej lub silniejszej.

Normowanie analityczne.

Niech oznacza

wektor wartości

j

-tej cechy obiektów przed unormowaniem, a

oznacza ten wektor z unormowanymi wartościami

j

-tej cechy.

Normowanie analityczne opiera się na przekształceniu
wyrażającym się następującą formułą:

gdzie:

•A

j

– parametr zmiany skali wartości cechy,

•B

j

– parametr skalujący wartości cechy (pozbawia cechę miana),

•p

– parametry przekształcenia (na ogół p = 1). Większe wartości

parametru powodują zwiększenie wariancji. Parzyste naturalne
wartości parametru dają w wyniku wszystkie dodatnie wartości
cechy po unormowaniu.

(

)

j

1j

2j

nj

X = x ,x ,…x

(

)

'

'

'

'

j

1j

2j

nj

X = x ,x ,…,x

p

ij

j

'

ij

j

i=1,2,...,n; j=1,2,...m,

x

A

x

,

B

�

�

-

=�

�

�

�

�

�

Transformacja danych

11

GK (PED(02) - 2010)

Parametr

A

j

najczęściej przybiera następujące wartości:

stałą równą

0

,

wartość oczekiwaną

(średnią arytmetyczną)

wartości cech (elementów wektora

X

), mini

m

aln

ą

(

x

min

), bą

dź

maksymalną (

x

max

) wartość spośród aktualnych wartości

cechy

(elementów wektor

a

X

)

.

Parametr

B

j

najczęściej przybiera następujące wartości:

mini

m

aln

ą

(

x

min

), bą

dź

maksymalną (

x

max

) wartość spośród

aktualnych wartości

cechy

(elementów wektor

a

X

)

, różnicę

wartości maksymalnej i minimalnej (

x

max

- x

min

),

sumę

wszystkich

aktualnych wartości cechy (elementów wektora

X

),

wartość

oczekiwaną

(średnią arytmetyczną) wartości cech (elementów

wektora

X

), odchylenie standardowe (

s

) obliczone na podstawie

wszystkich aktualnych wartości cechy (elementów wektora

X

).

Szczególnym przypadkiem normalizacji jest

standaryzacja

, która

jest przeprowadzana według następującej formuły:

Wektor wartości cechy po standaryzacji ma następujące własności:
jego elementy są liczbami na ogół z przedziału

(-3,3)

, wartość

średnia z wszystkich elementów jest równa

0

, a odchylenie

standardowe – równe

1

.

Transformacja danych

ij

j

'

ij

j

i=1,2,...,n; j=1,2,...,m.

x

x

x

,

s

-

=

12

GK (PED(02) - 2010)

Innym przypadkiem normowania analitycznego jest

unitaryzacja

, która jest realizowana przy następujących

wartościach parametrów

A

,

B

i

p

:

Na ogół w praktyce przyjmuje się

A

=

x

min

oraz

p

=

1

, uzyskując

unitaryzację zerową

,

której formuła przekształcająca przyjmie

postać:

Unitaryzacja zerowa powoduje, że elementy wektora

X

j



mają

następujące własności: wszystkie elementy są liczbami przedziału

[0,1]

, wartość maksymalna jest równa

1

, a minimalna

0

.

Przykład

: wartości cechy:

2.0, -3.4, 5.8, 2.4, -6.2, 0.0, 1.2, -4.2

.

Wartości cech po:

•standaryzacji:

0.7967, -0.6868, 1.8406, -0.4121, -1.456, 0.2472,

0.5769, -0.9066

,

•unitaryzacji:

0.6833, 0.2333, 1, 0.3167, 0, 0.5167, 0.6167,

0.1667

.

Transformacja danych

min

max

min

j

j

j

j

j

max

j

j=1,2,...,m

0

A

x , B =x

- x , p=0.5,1,2...;

.

x

�

�

=�

�

�

min

ij

j

'

ij

max

min

j

j

i=1,2,...,n; j=1,2,...,m

x

x

x

,

.

x

x

-

=

-

13

GK (PED(02) - 2010)

Kolejny przypadkiem normowania analitycznego jest

normalizacja w przedziale[-1,1]

, która jest realizowana przy

następujących wartościach parametrów

A

,

B

i

p

:

Formuła rozpatrywanej normalizacji przyjmie postać:

Normalizacja w przedziale

[-1,1]

powoduje, że elementy wektora

X

j



mają następujące własności: wszystkie elementy są liczbami

przedziału

[-1,1]

o

wartości oczekiwanej równej

0

.

W ramach normowania analitycznego stosuje się też wiele

metod zorientowanych na cechy mierzone tylko w skali ilorazowej;
noszą one wspólną nazwę

przekształceń ilorazowych

. Przykłady

przekształceń:

Transformacja danych

j

j

j

ij

j

i

j=1,2,...,m

A

x , B

max x

x , p=1;

.

=

=

-

ij

j

'

ij

ij

j

i

i=1,2,...,n; j=1,2,...,m

x

x

x

,

.

max x

x

-

=

-

1

ij

ij

ij

ij

ij

'

'

'

'

'

ij

ij

ij

ij

ij

n

max

min

j

j

j

j

ij

i

ij

i

i=1,2,...,n; j=1,2,...,m.

x

x

x

x

x

x

, x

, x

, x

, x

,

s

x

x

x

max x

x

=

=

=

=

=

=

-

�

14

GK (PED(02) - 2010)

Ważenie cech

jest stosowane w przypadkach, gdy zachodzi

potrzeba określenia, na ile są ważne cechy z punktu widzenia
przyjętego kryterium oraz takiego przekształcenia wartości tych
cech, aby cechy po przekształceniu mogły zachować swój wpływ
proporcjonalny do ważności w końcowych wynikach eksploracji.
Najczęściej ważenie cech jest stosowane w procesie
konstruowania uogólnionych ocen obiektów, stanowiących
podstawę ich porównywania. Ważność cech na ogół ustala się za
pomocą

wag

.

Ważenie cech powinno być przeprowadzane dopiero po ich

transformacji,
najlepiej po standaryzacji.

Przyjmuje się, że waga przypisana dowolnej cesze jest

dowolną liczbą nieujemną (

 0

). Niech wektor

W=(w

1

,w

2

,...,w

m

)

będzie wektorem wag (tzw. wag surowych), a jego element

w

j

,

(j=1,2,…,m)

– surową wagą przypisaną cesze

X

j

. Ocena wpływu wag

na określenie hierarchii ważności cech w zbiorze cech wymaga ich
unormowania. Niech wektor

W

 =(w

1

,w



2

,...,w



m

)

będzie wektorem

wag unormowanych.

Ważoną macierz danych

X



uzyskuje się przez

przemożenie każdego elementu macierzy unormowanej (lub
zestandaryzowanej)

X



przez odpowiednią wagę unormowaną, tj.

Transformacja danych

''

'

'

ij

ij

j

i=1,2,...,n; j=1,2,...,m

x

x w ,

.

= �

15

GK (PED(02) - 2010)

Istnieje wiele sposobów normowania wag, ale najczęściej

stosowane są następujące:

1. Suma unormowanych wag wynosi

1

:

2. Suma kwadratów unormowanych wag wynosi

1

:

3. Suma wag jest równa dowolnej wartości

c > 0

:

Transformacja danych

( )

m

2

j

'

'

j

j

m

j=1

2

j

j=1

j =1,2,...,m

w

w =

,

w

=1.

w

�

�

�

m

j

'

'

j

j

m

j=1

j

j=1

c >0; j =1,2,...,m

w

w =

c,

w =c.

w

�

�

�

�

m

j

'

'

j

j

m

j=1

j

j=1

j =1,2,...,m

w

w =

,

w =1.

w

�

�

�

16

GK (PED(02) - 2010)

Ustalanie wag surowych

w

j

, (j=1,2,…,m)

może być

dokonywane przez ekspertów lub statystycznie. W przypadku
ustalania wartości wag na drodze statystycznej, uwzględnia się
naturalną zmienność cechy mierzoną za pomocą współczynnika
zmienności

v

j

, (j=1,2,…,m)

lub siłę naturalnego powiązania cechy

z pozostałymi, mierzoną za pomocą współczynnika korelacji

r

ij

,

(i,j=1,2,…,m)

.

1.Wagi uwzględniające naturalną zmienność cechy (wagi są
wyznaczane na podstawie wartości cech

przed

ich normalizacją

):

2.Wagi uwzględniające skorelowanie cechy z pozostałymi (wagi
są wyznaczane na podstawie wartości cech

po ich normalizacji

):

Transformacja danych

j

j

j

m

j

j

j=1

s

j

x

j =1,2,...,m; v

v

w =

,

.

v

=

�

m

ij

i=1

j

m m

ij

i=1 j=1

i, j =1,2,...,m.

r

w =

,

r

�

��

17

GK (PED(02) - 2010)

W procesie badania obiektów wielocechowych istotne jest
określenie ich liniowego uporządkowania (nadanie rangi) w

m

-

wymiarowej unormowanej przestrzeni cech.

Przed wykonaniem

działań zmierzających do rangowania obiektów konieczne jest
określenie charakteru poszczególnych cech i zakwalifikowanie
ich do jednej z następujących grup:

•stymulant,

•destymulant,

•nominant.

Stymulantą

nazywana jest taka cecha, której wysokie

wartości są pożądane z punktu widzenia celu rangowania. Wyższe
wartości stymulanty (np. średnia płaca) kwalifikują obiekt jako
lepszy ze względu na tę cechę.

Destymulantą

nazywana jest taka cecha, której niskie

wartości są pożądane z punktu widzenia celu rangowania. Niższe
wartości destymulanty (np. poziom bezrobocia) kwalifikują
obiekt jako lepszy ze względu na tę cechę.

Nominantą

nazywana jest taka cecha, której „normalne”

wartości (np. normalna temperatura ciała człowieka) są
pożądane z punktu widzenia celu rangowania; nie są pożądane
natomiast wartości stanowiące duże odchylenia w dół i w górę od
wartości „normalnych”. Wartość cechy uważana za „normalną”
(najlepszą) może być wyznaczana arbitralnie lub na podstawie
wartości średniej (oczekiwanej).

Zmiana charakteru cech

18

GK (PED(02) - 2010)

K

walifikacja cech powinna odpowiedzieć na pytanie, czy

wszystkie cechy rangowanych obiektów są

stymulantami

(destymulantami)

, gdyż tylko taka „jednokierunkowość” cech

zapewnia właściwe rangowanie. Jeżeli przyjąć, że rangowanie
będzie oparte na stymulantach, to wszystkie wykryte w trakcie
analizy cechy będące

destymulantami

i

nominantami

będą

musiały być przetransformowane na

stymulanty

przed

rozpoczęciem rangowania.

Zamiana destymulanty na stymulantę

. Rozpatruje się

jedną cechę

X

j

o wartościach

x

ij

, (i=1,2,…,n; j=1,2,…,m)

,

będącą

destymulantą. Można ją zamienić na stymulatę

Z

j

o wartościach

z

ij

,

stosując najczęściej jedno z dwóch następujących

przekształceń:

Zmiana charakteru cech

{ }

(

)

{ }

{ }

0

ij

i=1,2,...,n

ij

ij

ij

j

i=1,2,...,n

ij

ij

i=1,2,...,n

min x

ij

a= max x

i=1,2,...,m; j=1,2,...,m

a =0, a = max x , a =2x ,

a =1,

,

z

a x ,

a

z

,

.

x

�

= -

�

�

�

�

=

�

�

�

�

19

GK (PED(02) - 2010)

Zamiana nominanty na stymulantę

. Niech cecha

X

j

o

wartościach

x

ij

, (i=1,2,…,n; j=1,2,…,m)

będzie nominantą.

Pożądaną („normalną”) wartością nominaty może być jedna
wartość (nominanta punktowa) lub przedział wartości
(nominanta przedziałowa). Niech rozpatrywana nominanta

X

j

będzie nomintą przedziałową, która przyjmuje wartości
„normalne” z

przedziału pożądanego

[x

d

, x

g

], (d,g=1,2,…,m; d



g)

. Nominanta punktowa przyjmowałaby jedną wartość pożądaną

równą

x = x

d

= x

g

.

Lewym przedziałem

nominanty

X

j

nazywa się

przedział

[x

1j

, x

d

)

, a

prawym przedziałem

– przedział

(x

g

, x

nj

]

.

Niech wektor

Z

j

o wartościach

z

ij

oznacza stymulatę.

Przekształcenia nominanty

X

j

w stymulantę

Z

j

można dokonać

stosując np. formułę:

gdzie:

a, b

- miejsca zerowe funkcji

f(x)

,

p

1

, p

2

– parametry odpowiedzialne za typ funkcji, odpowiednio

lewego i prawego przedziału nominanty.

Zmiana charakteru cech

( )

(

)

(

)

1

2

p

d

ij

ij

d

d

ij

ij

d

g

p

ij

g

ij

g

g

,

x

dla x

,x

dla x

x ,x

dla x

x

x -

1-

x -a

z

f x

1

x - x

1-

b- x

+�

� - �

�

�

� �

�

� �

�

� �

�

�

�

�

�

=

=�

�

�

�

� �

�

�

�

� �

�

� �

�

�

20

GK (PED(02) - 2010)

W przypadku, gdy nominanta
przyjmuje tylko jedną „normalną”
wartość,

pożądany przedział

jej

wartości sprowadza się do jednej
wartości (jednego elementu)

x

p

takiej, że

x

p

= x

d

= x

g

. Przykładowy

wykres funkcji

f(x)

dla

rozpatrywanego przypadku
nominanty, przy założeniu, że

p

1

=

1

i

p

2

= 2

.

Zmiana charakteru cech

Przykładowy wykres funkcji

f(x)

przekształcenia nominanty w
stymulantę przy założeniu, że

p

1

=

1

i

p

2

= 2

.

21

GK (PED(02) - 2010)

Możliwość stosowania funkcji

f(x)

przekształcania

nominanty w stymulantę wymaga określenia wartości progowych

a

i

b

, występujących w tej funkcji. Jednym z częściej stosowanych

sposobów wyznaczania tych wartości jest sposób przedstawiony
niżej:



jeżeli spełniona jest nierówność

to



jeżeli spełniona jest nierówność

to

Zmiana charakteru cech

{ }

{ }

d

ij

ij

g

i=1,2,...,n

i=1,2,...,n

x - min x

max x - x ,

�

{ }

{ }

d

g

ij

i=1,2,...,n

ij

i=1,2,...,n

a x

x

max x ,

b max x ,

=

+ -

=

{ }

{ }

ij

i=1,2,...,n

d

g

ij

i=1,2,...,n

a

min x ,

b x

x

min x .

=

=

+ -

{ }

{ }

d

ij

ij

g

i=1,2,...,n

i=1,2,...,n

x - min x

max x - x ,

>

22

GK (PED(02) - 2010)

Mogą wystąpić przypadki, gdy z góry zostaje ustalone

miejsce zerowe

a

lub

b

funkcji przekształcającej nominantę w

stymulantę. W takim przypadku pozostaje tylko wyznaczenie
drugiego miejsca zerowego tej funkcji:



jeżeli została ustalona wartość

a

,

(a < x

d

)

, to wartość

b

wyznacza

się z zależności:



jeżeli została ustalona wartość

b

,

(b > x

g

)

, to wartość

a

wyznacza

się z zależności:

Inna metoda zamiany nominanty na stymulantę opiera się na
funkcji postaci:

przy oznaczeniach jak poprzednio.
Uzyskana stymulanta przyjmuje wartości zerowe w przedziale

[x

d

,

x

g

]

,

a poza nim –

ujemne.

Zmiana charakteru cech

d

g

a x

x

b.

=

+ -

d

g

b x

x

a,

=

+ -

23

GK (PED(02) - 2010)

( )

(

)

(

)

ij

d

1

ij

d

ij

ij

d

g

ij

g

2

ij

g

-

-

,

x

dla x

,x

dla x

x ,x

x

dla x

x

-

x

p

z

f x

0

,

-

x

p

+�

� - �

�

�

�

�

�

�

�

�

=

=�

�

�

�

�

�

�

W eksploracji danych opartej na klasyfikacji, bądź

grupowaniu istotną rolę odgrywa określanie

odległości

(podobieństwa) między obiektami. Do określania tych odległości
służy

metryka

. Niech

d

oznacza metrykę, a

d(o

i

,o

k

)

- odległość

metryczną obiektu

o

k

od obiektu

o

i

.

Metryką nazywa się funkcję dwuargumentową

d

, która

spełnia następujące własności:

1.d(o

i

,o

k

) > 0

– odległość między dwoma różnymi obiektami jest

zawsze dodatnia,

2.d(o

i

,o

k

) = d(o

k

,o

i

)

– odległość od obiektu

o

i

do obiektu

o

k

jest

taka sama jak odległość od obiektu

o

k

do obiektu

o

i

,

3.d(o

i

,o

i

) = 0

– odległość od punktu

o

i

do siebie jest równa

0

,

4.d(o

i

,o

q

)

 d(o

i

,o

k

) + d(o

j

,o

q

)

– odległość między dowolnymi trzema

obiektami

o

i

,

o

q

i

o

k

spełnia własność trójkąta: suma dowolnych

dwóch odległości jest nie mniejsza od odległości trzeciej.
Dogodną formą przedstawiania odległości między obiektami jest
macierz odległości

D

. Jest to macierz kwadratowa, symetryczna, z

zerowymi wartościami na głównej przekątnej (to wynika z
własności 1, 2 i 3 metryki). Ponadto każda podmacierz

3

3

macierzy

D

spełnia następującą własność: suma każdych dwóch

spośród trzech elementów nad główną przekątną podmacierzy jest
nie mniejsza od elementu trzeciego (własność trójkąta – 4-ta
własność metryki).

Miary odległości dla

obiektów

24

GK (PED(02) - 2010)

Macierz

D

odległości między obiektami:

Macierz

D

jest tworzona tylko na podstawie unormowanej

macierzy

X



. Elementami macierzy

D

są liczby określające

odległości między obiektami reprezentowanymi przez jej wiersze a
obiektami reprezentowanymi przez jej kolumny. Istnieje wiele
mierników odległości, a ich stosowanie zależy od:

•skali pomiarowej wartości cech; istnieje wiele miar odległości dla
przypadku, gdy wartości wszystkich cech obiektu są mierzone w
takiej samej skali pomiarowej,

•zastosowanej formuły transformacji danych do przekształcenia
wartości cech,

•spełnienia przez formułę obliczeniową dodatkowych wymagań,
np. nierówności trójkąta,

•skal pomiarowych wartości cech obiektu, gdy te skale są inne.

Miary odległości dla

obiektów

12

1n

21

2n

n1

n2

0

d

... d

d

0

... d

D

...

...

... ...

d

d

... 0

�

�

�

�

�

�

=

�

�

�

�

�

�

25

GK (PED(02) - 2010)

W przypadku

cech mierzalnych

najczęściej stosuje się:

1.Odległość Minkowskiego:

gdzie:

d

ik

– odległość obiektu

o

i

od obiektu

o

k

,

x



ij

,

x



kj

– wartości unormowanej

k

-tej cechy obiektów, odpowiednio

o

i

oraz

o

j

(elementy macierzy

X



),

p

– parametr (

p = 1

– odległość miejska (Hamminga),

p = 2

–

odległość euklidesowa (stosowana najczęściej),

p =



- odległość

Czebyszewa).

Największą wartość elementy

d

ik

macierzy

D

osiągają dla

p = 1

,

która maleje wraz ze wzrostem

p

, a dla

p =



wyraża się

zależnością:

Miary odległości dla

obiektów

1

m

p

'

'

p

ik

ij

kj

j

i,k=1,2,...,n; j=1,2,...,m,

d

x

x

,

=

=

-

�

{

}

'

'

ik

ij

kj

j 1,2,...,m

i,k=1,2,...,n

d

max x

x ,

.

�

=

-

26

GK (PED(02) - 2010)

2. Odległość Braya-Curtisa:

3. Odległość Canberry:

4. Odległość łukowa:

m

'

'

ij

kj

j=1

ik

m

'

'

ij

kj

j=1

i,k =1,2,...,n

x - x

d =

,

.

x

x

+

�

�

'

'

m

ij

kj

ik

'

'

j=1

ij

kj

i,k =1,2,...,n

x - x

1

d =

,

.

m

x

x

+

�

(

)

( )

( )

m

'

'

ij

kj

j=1

ik

m

m

2

2

'

'

ij

kj

j=1

j=1

i,k =1,2,...,n

1-

x x

d =

,

.

x

x

�

�

�

�

�

Miary odległości dla

obiektów

27

GK (PED(02) - 2010)

5. Odległość Mahalanobisa:

gdzie:

•

Z

ik

–

m

-elementowy wektor, którego elementami

z

j

są różnice

unormowanych wartości cech obiektów

o

i

oraz

o

k

:

•

C

-1

– macierz odwrotna do macierzy kowariancji utworzona na

podstawie nieunormowanej macierzy

X

, tj. macierz

kwadratowa

m

m

o elementach:

przy czym

Odległość ta powinna być stosowana w przypadku, gdy cechy

mają rozkłady normalne oraz zachodzi potrzeba
uwzględnienia korelacji między nimi.

-1

T

ik

ik

ik

i,k=1,2,...,n,

d =Z C Z

'

'

j

ij

kj

j=1,2,...,m

z =x - x ,

,

(

)

(

)

n

jl

ij

j

il

l

i=1

j,l=1,2,...,m

1

c =

x - x

x - x ,

,

n

�

�

n

j

ij

i=1

j =1,2,...,m

1

x =

x ,

.

n

�

Miary odległości dla

obiektów

28

GK (PED(02) - 2010)

6. Odległość miejska (taksówkowa, manhatańska):

W przypadku

cech niemierzalnych

(skala nominalna lub

porządkowa, cechy jakościowe)

najczęściej stosowaną miarą

podobieństwa obiektów

O

i

oraz

O

k

jest

współczynnik

podobieństwa Sneatha

, definiowany jako:

gdzie

(warunek)

indykator (funkcja) postaci:

Miary odległości dla

obiektów

(

)

m

ik

ij

kj

j=1

i,k =1,2,...,n

1

d =

x

x ,

.

m

�

�

I

(

)

warunek = prawda

warunek

inaczej .

1,

,

=

0,

�

�

�

I

m

'

'

ik

ij

kj

j=1

i,k =1,2,...,n

d =

x - x ,

.

�

29

GK (PED(02) - 2010)

W przypadku

cech niemierzalnych

(skala nominalna, cechy

binarne)

konieczne

jest ustalenie sposobu kodowania wartości

tych cech, tj. ich kategorii: cecha „występuje” (+) i cecha „nie
występuje” (-) w badanych obiektach:

Przyjmuje się oznaczenia:

gdzie:

a

,

d

– liczba przypadków jednoczesnego występowania (

a

) lub nie

występowania (

b

) cechy w badanych obiektach

O

i

oraz

O

k

,

b

,

c

– liczba przypadków występowania cechy w obiekcie

O

i

i nie

występowania w obiekcie

O

k

(

b

) lub nie występowania cechy w

obiekcie

O

i

i występowania w obiekcie

O

k

(

c

).

Miary odległości dla

obiektów

Cecha X

j

a

j

b

j

c

j

d

j

Obiekt

O

i

Obiekt

O

k

+

+

1

0

0

0

+

-

0

1

0

0

-

+

0

0

1

0

-

-

0

0

0

1

,

,

,

,

1

1

1

1

























m

j

j

m

j

j

m

j

j

m

j

j

d

d

c

c

b

b

a

a

30

GK (PED(02) - 2010)

W przypadku

cech niemierzalnych binarnych

najczęściej stosuje się:

1.Odległość Czekanowskiego:

2.Odległość Jaccarda:

3.Odległość Sokala i Michenera:

4.Odległość Russela i Rao:

Miary odległości dla

obiektów

ik

i,k=1,2,...,n,

2 a

d

1-

,

2 a+b+c

�

=

�

ik

i,k=1,2,...,n,

a

d

1-

,

a+b+c

=

ik

i,k=1,2,...,n,

a d

d

1-

,

a+b+c d

+

=

+

ik

i,k=1,2,...,n.

a

d

1-

,

a+b+c d

=

+

31

GK (PED(02) - 2010)

W celu określenia podobieństwa cech badanych obiektów

stosuje się miary odległości, które są

semimetrykami

, ponieważ

nie spełniają własności trójkąta. Miary te są oparte na
współczynnikach korelacji między cechami. Do konstrukcji

macierzy odległości

D dla cech

stosuje się zwykle następujące

semimetryki:

•semimetryka 1:

gdzie:

r

jl

– współczynnik korelacji dla

j

-tej i

l

-tej cechy obiektu,

•semimetryka 2:

•semimetryka 3:

•semimetryka 4:

Miary odległości dla cech

obiektów





m,

1,2,...,

l

j,

,

r

1

2

d









jl

jl

m,

1,2,...,

l

j,

,

r

1

d

2

jl







jl

m,

1,2,...,

l

j,

,

r

1

d

2

jl







jl

.

m

1,2,...,

l

j,

,

r

1

d







jl

jl

32

GK (PED(02) - 2010)

33

GK (PED(02) - 2010)