06.03.2013
dr hab. Tomasz Puzyn, prof. UG
Pracownia Chemometrii Åšrodowiska
e-mail: [e-mail]
tel. [phone]
Pracownia Chemometrii Åšrodowiska
1. Scharakteryzowanie tzw. tendencji centralnej oraz
rozrzutu wyników
2. Sprawdzenie rozkładu zmiennej
3. Wykrycie tzw. punktów odbiegających (ang. outliers)
2
Pracownia Chemometrii Åšrodowiska
1
06.03.2013
1; 2; 3; 4; 5 1; 2; 3; 4; 50
Åšrednia m = 3 Åšrednia m = 12
Mediana M = 3
Mediana M = 3
3
Pracownia Chemometrii Åšrodowiska
n
"w xi
i
i=1
" Średnia ważona MW:
MW =
n
"w
i
i =1
n
" Åšrednia geometryczna MG:
n
MG =
"x
i
i=1
n
" Åšrednia harmoniczna MH:
M =
H n
1
"
xi
i=1
4
Pracownia Chemometrii Åšrodowiska
2
06.03.2013
5
Pracownia Chemometrii Åšrodowiska
Pracownia Chemometrii Åšrodowiska
3
06.03.2013
28; 29; 30; 31; 32 10; 20; 30; 40; 50
Åšrednia m = 30 Åšrednia m = 30
Odchylenie standardowe s = 1,6 Odchylenie standardowe s = 15,8
7
Pracownia Chemometrii Åšrodowiska
n
n
"(x - m)2
i "(x - m)2
i
i-1 i -1
s2 = s =
n - 1
n - 1
10; 20; 30; 40; 50
i x (x (x
i i-m)
i-m)2
1 10 -20 400
2 20 -10 100
Åšrednia m = 30
3 30 0 0
4 40 10 100
5 50 20 400
n
n=5 "( xi - m)2 1000
i =1
s2 = 1000/4 = 250 s = "s2 = 15,8
8
Pracownia Chemometrii Åšrodowiska
4
06.03.2013
Xij - Xj
Zij =
sj
X 1 2 3 4 5
Z
X 10 20 30 40 50
Z
Pracownia Chemometrii Åšrodowiska
Xij - Xj
Zij =
sj
X 1 2 3 4 5
Z -1,26 -0,63 0,00 0,63 1,26
X 10 20 30 40 50
Z -1,26 -0,63 0,00 0,63 1,26
Pracownia Chemometrii Åšrodowiska
5
06.03.2013
Standaryzowana wartość mierzonej cechy (x)
11
Pracownia Chemometrii Åšrodowiska
ź średnia arytmetyczna
à odchylenie standardowe
Standaryzowana wartość mierzonej cechy (x)
12
Pracownia Chemometrii Åšrodowiska
6
f(x) Gęstość prawdopodobieństwa
f(x) Gęstość prawdopodobieństwa
06.03.2013
Dla każdej zmiennej obliczamy:
" Wartość najmniejszą MIN,
" Wartość największą MAX,
" Stosunek MIN/MAX,
" Rozstęp r = MAX  MIN,
" Środek rozkładu d = (MAX+MIN)/2
" ÅšredniÄ… m,
" Inne miary tendencji centralnej (np. medianÄ™ M),
" Odchylenie standardowe s,
" Współczynnik skośności rozkładu normalnego q,
" Współczynnik spłaszczenia (kurtozę) K.
13
Pracownia Chemometrii Åšrodowiska
14
Pracownia Chemometrii Åšrodowiska
7
06.03.2013
" MAX lub MIN znacznie różni się od spodziewanej wartości
prawdopodobnie punkt odbiegajÄ…cy.
" | MIN/MAX | < 0,1 zmienna może nie mieć rozkładu normalnego.
" m H" MAX i m `" d lub m H" MIN i m `" d rozkład silnie skośny
" m >> M lub m << M rozkład skośny lub punkty odbiegające
" r/s < 4 (dla n < 50) lub r/s < 5 (dla n > 50) zmienna może nie mieć rozkładu
normalnego (prawdopodobna niejednorodność w rozkładzie).
" |q| >> 0 rozkład prawdopodobnie nie jest symetryczny lub istnieje punkt
odbiegajÄ…cy.
" K<0 rozkład prawdopodobnie bardzo spłaszczony z węższymi częściami
brzegowymi lub K>0 krzywa rozkładu bardzo stroma w części centralnej i
relatywnie długie części boczne.
15
Pracownia Chemometrii Åšrodowiska
n = 400
m = 7,0
s = 0,58
< 5,3 0
[5,3; 5,8) 6
[5,8; 6,3) 41
[6,3; 6,9) 114
[6,9; 7,4) 139
[7,4; 7,9) 78
[7,9; 8,5) 22
8,5 e" 0
16
Pracownia Chemometrii Åšrodowiska
8
06.03.2013
1. Dzielimy wszystkie zdarzenia
elementarne na przedziały o jednakowej
szerokości, przy czym ich liczba k d" n/4:
dla n = kilkanaście k = 4-5
dla n = kilkaset k = 8-10
dla n = kilka tys. k = ok. 12
2. W przypadku parzystej liczby
przedziałów średnia powinna leżeć w
środkowym przedziale;
w przypadku nieparzystej liczby  w
pobliżu granicy pomiędzy dwoma
środkowymi przedziałami.
3. Skrajne wyniki powinny leżeć możliwie
w środku skrajnych przedziałów.
17
Pracownia Chemometrii Åšrodowiska
Standaryzowana wartość mierzonej cechy (x)
18
Pracownia Chemometrii Åšrodowiska
9
f(x) Gęstość prawdopodobieństwa
06.03.2013
" Przyjmujemy założenie o rozkładzie
normalnym pozostałych punktów!
" Stosujemy odpowiednie testy
statystyczne, zależnie od liczebności
wyników:
Jeżeli n < 10 test Q-Dixona,
Jeżeli 10 < n < 40 rozkład t-Studenta,
Jeżeli n > 40 reguÅ‚a 3 Ã.
19
Pracownia Chemometrii Åšrodowiska
Przyjęcie założeń, określenie hipotezy
zerowej (H ) oraz hipotezy alternatywnej
0
(H )
A
Otrzymanie rozkładu z próby, wyznaczenie
poziomu istotności oraz obszaru
krytycznego
Obliczenie wartości statystyki testowej
Podjęcie decyzji na podstawie wartości
statystyki testowej oraz reguł decyzyjnych
dla danego testu
20
Pracownia Chemometrii Åšrodowiska
10
06.03.2013
Wniosek z testu
Przyjąć H Odrzucić H
0 0
H jest BÅ‚Ä…d I-go
0
OK
prawdziwa rodzaju
H jest BÅ‚Ä…d II-go
0
OK
fałszywa rodzaju
21
Pracownia Chemometrii Åšrodowiska
1. Porządkujemy wyniki w kolejności rosnącej:
x1 < x2 < x3 <& < xn-1 < xn
2. Formułujemy H0: x1 (lub odpowiednio xn) nie jest punktem odbiegającm
HA: x1 (lub odpowiednio xn) jest punktem odbiegajÄ…cym
3. Obliczamy statystykÄ™ Q:
gdy podejrzewamy x
1
lub
gdy podejrzewamy xn
4. Uzyskaną wartość Q porównujemy z tablicami (Qkr) na odpowiednim
poziomie ufności ą. Jeżeli Q e" Qkr punkt odbiegający (bo z
prawdopodobieństwem 1-ą nie należy do tej samej populacji co pozostałe).
n 3 4 5 6 7 8 9 10
Ä…=0,05
Qkr 0,941 0,765 0,642 0,560 0,507 0,468 0,437 0,412
22
Pracownia Chemometrii Åšrodowiska
11
Prawda
06.03.2013
Statystyka t
" Obliczamy statystykÄ™ t ze wzoru
" Odnajdujemy w tablicach wartość tkr dla założonego
poziomu istotności ą.
" Jeżeli t > tkr to z prawdopodobieństwem 1-ą nie
należy do populacji (odrzucamy).
Przedział ufności
" Obliczamy przedział, w którym z
prawdopodobieństwem 1-ą znajdują się wszystkie
wartości xi (tzw. przedział ufności).
" Każdą wartość xi leżącą poza wyznaczonym
przedziałem możemy odrzucić (popełniając przy tym
błąd nie większy niż ą).
UWAGA! Średnią i odchylenie standardowe obliczamy dla pozostałych punktów
bez  podejrzanego wyniku!!!
23
Pracownia Chemometrii Åšrodowiska
24
Pracownia Chemometrii Åšrodowiska
12
06.03.2013
ą  poziom istotności
0.100 0.050 0.020 0.010
1 6.314 12.706 31.821 63.656
2 2.920 4.303 6.965 9.925
3 2.353 3.182 4.541 5.841
4 2.132 2.776 3.747 4.604
5 2.015 2.571 3.365 4.032
6 1.943 2.447 3.143 3.707
½ = n - 1
7 1.895 2.365 2.998 3.499
8 1.860 2.306 2.896 3.355
n = 19 9 1.833 2.262 2.821 3.250
10 1.812 2.228 2.764 3.169
v = 18
11 1.796 2.201 2.718 3.106
m = 69,5
12 1.782 2.179 2.681 3.055
s = 4,8
13 1.771 2.160 2.650 3.012
14 1.761 2.145 2.624 2.977
15 1.753 2.131 2.602 2.947
16 1.746 2.120 2.583 2.921
17 1.740 2.110 2.567 2.898
18 1.734 2.101 2.552 2.878
19 1.729 2.093 2.539 2.861
25
Pracownia Chemometrii Åšrodowiska
Jeżeli dany wynik xi znajduje się o więcej niż 3 odchylenia standardowe od
średniej to z prawdopodobieństwem ok. 99 % możemy mówić, że nie należy on do
populacji.
Zakres P(A)
[ 1,0; 1,0] H" 0.68
[ 2,0; 2,0] H" 0.95
[ 3,0; 3,0] H" 0.99
26
Pracownia Chemometrii Åšrodowiska
13
½  liczba stopni swobody