Microsoft PowerPoint - cw1 wprowadzenie wstepna obrobka danych.ppt

Ewa Figielska 2012

Literatura

D. T.

Larose

, "Odkrywanie wiedzy z danych. Wprowadzenie

do eksploracji danych”. Wyd. Naukowe PWN 2006.

D. T.

Larose

, "Metody i modele eksploracji danych". Wyd.

Naukowe PWN 2008.

Hand

, H.

Mannila

, P.

Smyth

, "Eksploracja danych". WNT

2005.

ródła internetowe:

Statiscics

Homepage

Glossary

www.statsoft.pl

textbook

glosfra.html

Wikipedia

Tanagra

Tutorials

data

mining

tutorials.blogspot.com

Ewa Figielska 2012

Eksploracja danych

–

przykładowe definicje

Eksploracja danych jest procesem odkrywania

znacz cych nowych powi za , wzorców i trendów

przez przeszukiwanie du ych ilo ci danych

zgromadzonych w skarbnicach danych, przy

wykorzystaniu metod rozpoznawania wzorców, jak

równie metod statystycznych i matematycznych.

(

www.gartner.com

)

Eksploracja danych jest

mi dzydyscyplinarn

dziedzin ł cz c techniki uczenia maszynowego,

rozpoznawania wzorców, statystyki, baz danych i

wizualizacji w celu uzyskiwania informacji z du ych

baz danych.

(

P.Cabena

i inni,

Discovering

Data

Mining

From

Concept

Implementation

Prentice

Hall

Upper

Saddle

River

, NJ 1998)

Ewa Figielska 2012

Opis

Opis wzorców i trendów znajduj cych si w danych,

co cz sto sugeruje mo liwe wyja nienia wzorców i

trendów.

Np. ludzie, którzy zostali zwolnieni z pracy w trakcie

kadencji obecnego prezydenta s teraz gorzej sytuowani,

jest wi c mniej prawdopodobne, e popr oni obecnego

prezydenta.

Wyniki eksploracji danych powinny opisywa jasne

wzorce i trendy, które mo na intuicyjnie

zinterpretowa i wyja ni .

Wysoka jako opisu mo e by cz sto osi gni ta

przez eksploracyjn analiz danych.

Ewa Figielska 2012

Szacowanie (estymacja)

Np. nale y oszacowa skurczowe ci nienie krwi pacjenta w

szpitalu w zale no ci od wieku, płci, wagi pacjenta oraz

poziomu sodu we krwi. Zwi zek pomi dzy skurczowym

ci nieniem krwi pacjenta a zmiennymi opisuj cymi w

zbiorze ucz cym okre la model estymacji, który potem

mo na stosowa do nowych przypadków.

Inne przykłady:

szacowanie redniej ocen słuchacza studiów magisterskich na

podstawie jego redniej ocen ze studiów in ynierskich,

szacowanie, ile pieni dzy wyda losowo wybrana czteroosobowa

rodzina na przygotowanie dzieci do szkoły przed zbli aj cym si

rozpocz ciem roku szkolnego.

W modelach szacowania zmienna celu ma charakter

ilo ciowy.

Metody szacowania: szacowanie warto ci punktu i

przedziału ufno ci, regresja liniowa i korelacja, regresja

wielokrotna.

Ewa Figielska 2012

Przewidywanie (predykcja)

W przewidywaniu wynik dotyczy przyszło ci. Np.

przewidywanie ceny akcji po upływie 3 miesi cy,

przewidywanie, e dana cz steczka w procesie

odkrywania leków doprowadzi do wytworzenia nowego

leku rentownego leku dla firmy farmaceutycznej.

Metody przewidywania: tradycyjne metody

wykorzystywane w klasyfikacji i szacowaniu, a

tak e sieci neuronowe, drzewa decyzyjne, metoda

najbli szych

s siadów.

Ewa Figielska 2012

Klasyfikacja

Zadanie klasyfikacji posiada jako ciow zmienn

celu. Np.

Zmienna celu

grupa dochodu

mo e by podzielona na

trzy kategorie: wysoki dochód, redni dochód, niski

dochód.

Model eksploracji danych sprawdza du e zbiory

rekordów, z których ka dy zawiera warto zmiennej

celu oraz warto ci zmiennych wej ciowych (np. płe ,

wiek zawód)

> uczenie si algorytmu na zbiorze

ucz cym.

Zadaniem klasyfikacji b dzie okre lenie grupy dochodu

osób

niezapisanych

w bazie danych na podstawie ich

warto ci zmiennych wej ciowych.

Metody klasyfikacji: algorytm

najbli szych

s siadów, drzewa decyzyjne, sieci neuronowe.

Ewa Figielska 2012

Grupowanie (

clustering

)

Grupowanie

–

grupowanie

rekordów, obserwacji

lub przypadków w klasy podobnych obiektów.

Grupa jest zbiorem rekordów, które s podobne do

siebie nawzajem i niepodobne do rekordów z

innych grup.

Np.

namierzenie grupy potencjalnych klientów pewnego

produktu z niszy rynkowej wyprodukowanego przez mał

firm z małym bud etem reklamowym,

redukcja wymiarów, gdy zbiór danych ma setki

atrybutów.

Metody: grupowanie hierarchiczne, metody

rednich

, sieci

Kohonena

Ewa Figielska 2012

Odkrywanie reguł

Zadanie odkrywania reguł polega na poszukiwaniu

powi zanych ze sob atrybutów.

Np.

supermaket

mo e odkry , e z 1000 klientów

robi cych zakupy w czwartek wieczorem 200 kupiło

pieluszki, a z tych 200, 50 kupiło piwo. Reguła

asocjacyjna: "je eli kupuje pieluszki, to kupuje piwo" ze

wsparciem 200/1000=20% i ufno ci 50/200=25%.

Metody: algorytm a priori, algorytm GRI

Ewa Figielska 2012

Definicje wybranych poj

rednia, odchylenie standardowe,

mediana, odchylenie

medianowe

, modalna,

kwartyl

, rozst p

kwartylowy

, sko no ,

kurtoza

histogram, wykres rozrzutu

Ewa Figielska 2012

Definicje poj (1)

rednia (i rednia z próby)

miara "tendencji centralnej"

danej zmiennej. Czym wi ksza jest liczno próby tym

lepsza jest rednia. Wraz ze wzrostem wariancji danych

rednia staje si mniej pewna.

µ=

rednia w populacji,

warto i

tej próbki,

liczebno populacji.

Odchylenie standardowe

–

miara zmienno ci,

odchylenie standardowe populacji

= [

µ)

/N]

1/2

odchylenie standardowe próby

s = [

)

/(n

1)]

1/2

–

rednia z próby

–

liczno próby

Ewa Figielska 2012

Definicje poj (2)

Mediana

–

miara "tendencji centralnej", dla której połowa

obserwacji (50%) jest wi ksza, a druga połowa jest mniejsza

b d równa jej warto ci (mediana = redniej z dwu rodkowych

warto ci, je eli liczba obserwacji jest parzysta).

Mediana jest znacznie bardziej odporna na

obserwacje odstaj ce

rednia arytmetyczna: nawet du e zmiany skrajnych obserwacji nie

wpływaj na jej warto .

Odchylenie

medianowe

miara zmienno ci równa medianie z

bezwzgl dnych odchyle od mediany zbioru danych.

Np. dla danych (1, 1, 2, 2, 4, 6, 9) mediana = 2. Warto ci bezwz

gl dnych

odchyle od warto ci 2 wynosz odpowiednio (1, 1, 0, 0, 2, 4, 7)

. Dla

powstałego zbioru danych mediana = 1. Zatem odchylenie

medianowe

wynosi 1.

Odchylenie

medianowe

jest bardziej odporne na obserwacje odstaj ce

ni odchylenie standardowe (w odchyleniu standardowym odległo ci

redniej s podnoszone do kwadratu, wi c wpływ du ych odległo ci

jest

w tym przypadku du y). W odchyleniu

medianowym

wielko ci odległo ci

niewielkiej liczby obserwacji odstaj cych nie s znacz ce.

Ewa Figielska 2012

Definicje poj (3)

Modalna (moda)

–

miara "tendencji centralnej", modalna z

próby oznacza najcz ciej wyst puj ca warto w danych

w próbie.

Kwartyl

pierwszy (dolny)

–

warto zmiennej, poni ej której

znajduje si 25% warto ci danej zmiennej.

Kwartyl

trzeci (górny)

–

warto zmiennej, poni ej której

znajduje si 75% warto ci danej zmiennej.

Rozst p

kwartylowy

(

mi dzykwartylowy

)

–

ró nica mi dzy

trzecim a pierwszym

kwartylem

(szeroko przedziału

wokół mediany, który obejmuje 50% przypadków).

Ewa Figielska 2012

Definicje poj (4)

Sko no (asymetria)

–

mierzy odchylenie

rozkładu od symetrii. Je li warto

sko no ci jest wyra nie ró na od zera,

wówczas dany rozkład jest asymetryczny

Sko no = n*

)

/ [(n

1)*(n

2)*

]

–

liczba wa nych przypadków

Sko no wskazuje, czy rozkład ma pojedynczy

długi kraniec, np. rozkład dochodów ludzi mo e

pokaza , e wi kszo ludzi zarabia od małych

do rednich kwot, a niewiele osób zarabia du e

sumy.

Wykorzystanie warto ci

kwartyli

w interpretacji

sko no ci rozkładu:

–

Q2 =

Q1 ( sko no zerowa)

–

Q2 >

Q1 ( sko no dodatnia)

–

Q2 <

Q1 ( sko no ujemna)

Ewa Figielska 2012

Definicje poj (5)

Kurtoza

–

miara tego, czy rozkład jest "wysmukły"

(

leptokurtyczny

) czy "spłaszczony" (

platokurtyczny

)

wykorzystywany do okre lenia stopnia koncentracji

warto ci zmiennej wokół redniej. Dla rozkładu

wysmukłego kurtoza>0, dla rozkładu

spłaszczonego kutoza<0.

Wy sza

kurtoza

oznacza, e wi ksza wariancja jest

spowodowana niezbyt cz stymi ale du ymi

odchyleniami.

Ni sza

kurtoza

oznacza cz ste niezbyt du e odchylenia.

Ewa Figielska 2012

Definicje poj (6)

Histogram

graficzny sposób

przedstawienia rozkładu liczebno ci

wybranej zmiennej, na którym kolumny

s wykre lane ponad przedziałami

klasowymi, a wysoko kolumn jest

proporcjonalna do liczebno ci klas.

Wykres rozrzutu

słu y do wizualizacji

relacji pomi dzy dwiema zmiennymi X i

Y (np. mas i wysoko ci ciała). Dane

dla zmiennych X i Y s reprezentowane

jako punkty w dwuwymiarowej

przestrzeni.

Je li dwie zmienne s mocno powi zane,

wówczas punkty danych tworz regularny

kształt (np. lini prost lub wyra n krzyw ).

Je li dane dwie zmienne nie s powi zane

ze sob , wówczas punkty na wykresie

tworz nieregularn "chmur ".

Ewa Figielska 2012

Wst pna obróbka danych

Wi kszo surowych danych przechowywanych w

bazach danych jest nieobrobiona, niekompletna i

zaszumiona

, np. zawieraj :

zb dne i przestarzałe pola,

rekordy z brakuj cymi warto ciami,

punkty oddalone (obserwacje/punkty odstaj ce),

dane w formacie nieodpowiednim dla modeli eksploracji

danych,

warto ci niezgodne z zasadami lub ze zdrowym

rozs dkiem

Czyszczenie danych

przekształcanie danych

(wst pna obróbka danych) przygotowuje baz

danych do eksploracji.

Ewa Figielska 2012

Obsługa brakuj cych danych

Brak pewnych warto ci pól dla

pewnych rekordów

–

post powanie:

Zast pienie brakuj cej warto ci

pewn stał , okre lon przez

analityka,

Zast pienie brakuj cej warto ci

warto ci redni (dla zmiennych

liczbowych) lub warto ci modaln

(dla zmiennych jako ciowych),

Zast pienie brakuj cych warto ci

warto ci wygenerowan losowo

zgodnie z obserwowanym

rozkładem zmiennej.

350

400

302

285.25

350

285.25

400

302

pojemno

silnika (zm.

liczbowa)

. cylindrów

(zm.

jako ciowa)

Ewa Figielska 2012

Punkty oddalone (obserwacje/elementy odstaj ce)

Punkty oddalone

–

skrajne warto ci, które znajduj

si blisko granic zakresu danych lub s sprzeczne

z ogólnym trendem pozostałych danych.

Punkty oddalone mog reprezentowa bł dy

powstałe podczas wprowadzania danych

–

wa na

jest ich identyfikacja.

Pewne metody statystyczne s wra liwe na

obecno punktów oddalonych i mog da

niestabilne wyniki, nawet je eli punkty te

reprezentuj poprawne warto ci danych.

Ewa Figielska 2012

Zbiór danych

Plik danych

body_mass_index.xls

zawiera 50

przykładów z 3 zmiennymi:

waga (WEIGHT) w kilogramach,

wysoko (HEIGHT) w metrach,

indeks masy ciała (BODY MASS).

Celem jest wykrycie nie pasuj cych warto ci dla

ka dej zmiennej (punktów oddalonych).

Ewa Figielska 2012

Opis statystyk

Kurtoza

Kurtosis

Sko no

Skewness

szy i 3

kwartyl

1st * 3rd quartile

Warto minimalna i maksymalna

Min * Max

Odchylenie medianowe

MAD (median absolute

deviation)

Odchylenie standardowe

Std dev.

Mediana

Median

Warto rednia

Average

Opis

Nazwa

Ewa Figielska 2012

Automatyczna detekcja punktów oddalonych

Komponent UNIVARIATE OUTLIER DETECTION próbuje wykry próbki, k

tóre

s oddalone od pozostałych.

W PARAMETERS (po naci ni ciu prawego przycisku myszy na UNIVARIA

OUTLIER DETECTION ) nale y dokona odpowiedniego wyboru w oknie

FILTERING i PARAMETERS.

Ewa Figielska 2012

Testy wykrywaj ce punkty oddalone

Test

Grubbsa

–

dla jednej zmiennej, przy zało eniu, e zbiór danych

da si przybli y za pomoc rozkładu normalnego. Test

Grubbsa

jest

zdefiniowany dla hipotez:

–

brak punktów oddalonych w zbiorze danych,

–

istnieje przynajmniej jeden punkt oddalony w zbiorze danych.

gdzie = rednia z próby, s = odchylenie standardowe.

Hipoteza o braku punktów oddalonych zostaje odrzucona przy

poziomie

istotno ci

, je eli

gdzie t

/(2N),N

jest górn krytyczn warto ci rozkładu t Studenta o N

stopniach swobody i poziomie istotno ci /(2N)

Ewa Figielska 2012

Testy wykrywaj ce punkty oddalone

Test 3

sigma

Test z wykorzystaniem rozst pu

mi dzykwartylowego

Niech Q1 oznacza pierwszy

kwartyl

, Q3

–

trzeci

kwartyl

Dolne wewn trzne ograniczenie: Q1

1.5*(Q3

Q1).

Górne wewn trzne ograniczenie: Q3 + 1.5*(Q3

Q1).

Dolne zewn trzne ograniczenie : Q1

3*(Q3

Q1).

Górne zewn trzne ograniczenie : Q3 + 3*(Q3

Q1).

Warto danych jest punktem oddalonym, je eli jest poło ona

poni ej dolnego ograniczenia lub

powy ej górnego ograniczenia.

Ewa Figielska 2012

Wyniki dla poszczególnych zmiennych

Test

Grubbsa

z poziomem istotno ci = 5%: punkty oddalone wyst puj

tylko dla BODYMASS.

Test 3

sigma: BODYMASS zawiera 2 punkty oddalone.

Testy z wykorzystaniem rozst pu

mi dzykwartylowego

wewn trzne ograniczenie: 1 punkt oddalony dla WEIGHTKG i 2 dla

BODYMASS,

zewn trzne ograniczenie: 2 oddalone warto ci dla BODYMASS.

Ewa Figielska 2012

Po usuni ciu punktów oddalonych

Statystyki dla zbioru danych po usuni ciu punktów

oddalonych.

Reguła, okre laj ca punkty do usuni cia, zaznaczona została w

zakładce

Filtering

przy ustawianiu automatycznej detekcji.

Nale y wstawi

UNIVARIATE

CONTINUOUS

STAT 1 do

diagramu.

Ewa Figielska 2012

Porównanie wyników

Odchylenie ma najwi ksz warto dla BODYMASS

+3.13%

26.8400

27.6806

BODYMASS

0.25%

1.6623

1.6581

HEIGHTM

+2.23%

74.3796

76.0402

WEIGHTKG

Odchylenie

rednia dla 48

przypadków (bez 19 i 22)

rednia dla 50

przypadków

Zmienna

Ewa Figielska 2012

Punkty oddalone

podsumowanie

Wiele statystycznych technik jest wra liwych na obecno

punktów oddalonych, np. rednia i odchylenie standardowe

mog zosta zniekształcone przez pojedynczy

nieprecyzyjny punkt danych.

Poszukiwanie punktów oddalonych zawsze powinno by

cz ci analizy danych.

Potencjalne punkty oddalone powinny by sprawdzane pod

wzgl dem poprawno ci reprezentowanych przez nie

danych.

Je eli punkt oddalony jest bł dny, to powinien by poprawiony lu

je eli nie jest to mo liwe, usuni ty.

Nie nale y usuwa punktów oddalonych zbyt pochopnie.

Pewne techniki pozwalaj wyeliminowa negatywne skutki

wyst powania punktów oddalonych bez konieczno ci ich usuwania.

Ewa Figielska 2012

Przekształcanie danych

Uzasadnienie:

Zakresy zmiennych zwykle ró ni si znacznie mi dzy

sob .

Dla pewnych algorytmów ró nice zakresów powoduj ,

e zmienne z wi kszym zakresem b d miały nadmierny

wpływ na wyniki.

Nale y dokona normalizacji zmiennych numerycznych,

aby ujednolici wpływ ka dej zmiennej na wyniki.

Techniki normalizacji:

Normalizacja min

max,

Standaryzacja.

Oznaczenia:

–

oryginalna warto pola,

znormalizowana warto pola.

Ewa Figielska 2012

Przekształcanie danych,

Normalizacja

X* = (X

min(X

)) / (

max(X

)

min(X

))

Znormalizowane warto ci nale do przedziału <0,1>.

Standaryzacja

X* = (X

rednie(X

)) / (X)

Warto ci po standaryzacji nale zwykle do przedziału <

4,4>.

rodek rozkładu znajduje si w punkcie 0.

acceleration

NORMALIZACJA

STANDARYZACJA

11.5

0.208333333

-1.4537

min=

0.178571429

-1.6431

max=

24.8

10.5

0.148809524

-1.8326

rednia =

15.3363

0.119047619

-2.0221

odch.std.= 2.63903

8.5

0.029761905

-2.5904

0.119047619

-2.0221

0.119047619

-2.0221

-2.7799

0.119047619

-2.0221

0.416666667

-0.1274

15.5

0.446428571

0.0620

20.5

0.744047619

1.9567

17.5

0.56547619

0.8199

17.5

0.56547619

0.8199

12.5

0.267857143

-1.0747

0.357142857

-0.5063

0.416666667

-0.1274

18.5

0.625

1.1988

Ewa Figielska 2012

Słowniczek

Univariate

statistics

–

statystyka jednej zmiennej

Scatter

plot

–

wykres rozrzutu

Outliers

–

punkty oddalone (obserwacje/elementy odstaj ce)

Clustering

–

grupowanie

Exploratory

data

analysis

–

eksploracyjne analiza danych