Testowanie hipotez cz 2


Testowanie hipotez
Cz.2
" Rozkład chi-kwadrat (chi2, c2) to rozkład ciągły, który mo\e
opisywać zjawiska losowe przyjmujące tylko wartości dodatnie.
" Jest on charakteryzowany przez parametr nazywany liczbÄ… stopni
swobody.
Gęstość rozkładu chi2
w zale\ności od liczby stopni swobody
chi2(1)
chi2(2)
chi2(3)
chi2(8)
0 5 10 15 20
0.8
0.6
0.4
0.2
0.0
" Kwantyle tego rozkładu mo\na odczytać ze specjalnych tablic albo wykorzystać
program R
> qchisq(p = rzÄ…d kwantyla,df = liczba stopni swobody)
# aby uzyskać kwantyl rzędu 0,95 przy 10 stopniach swobody
> qchisq(p=0.95,df=10)
[1] 18.30704
Test dla wariancji, gdy próba pochodzi z populacji normalnej
2
(n -1)S
Jeśli X1, X2, ..., Xn ~N(m,s2), to
~ chi2(n -1)
2
Ã
2 2
H0 :Ã = Ã0
Statystyka testowa
2
(n -1)S
chi2 =
2
Ã0
Hipoteza alternatywna Obszar krytyczny
2 2
(-"; chi2(n -1)Ä… )
à < Ã
0
2 2
(chi2(n -1)1-Ä… ; + ")
à > Ã
0
2 2
(-"; chi2(n -1)Ä… / 2 ) *" (chi2(n -1)1-Ä… / 2; + ")
à `" Ã
0
Problem
Firma wytwarza detale, których średnica powinna być równa 4 cm,
z dopuszczalną wariancją równą 0,004 cm2.
Losowa próba 20 detali dała następujące pomiary średnic:
> dane
[1] 4.06 4.02 4.04 4.04 3.97 3.87 4.03 3.85 3.91
3.98 3.96 3.90 3.95 4.11 4.00 4.12 4.00 3.98
3.92 4.02
Z uwagi na rosnącą liczbę skarg klientów, istnieje podejrzenie,
\e nastąpiło rozregulowanie maszyny i wariancja przekracza
dopuszczalną wartość 0,004.
Czy powy\sze dane potwierdzajÄ… to przypuszczenie?
> stem(dane)
The decimal point is 1 digit(s) to the left of
the |
38 | 57
39 | 01256788
40 | 00223446
41 | 12
> summary(dane)
Min. 1st Qu. Median Mean 3rd Qu. Max.
3.850 3.943 3.990 3.986 4.032 4.120
> var(dane)
[1] 0.005318684
> plot(dane)
> abline(a=4,b=0,lwd=2)
5 10 15 20
Index
dane
3.85
3.90
3.95
4.00
4.05
4.10
> plot(dane,ylim=c(3,5))
> abline(a=4,b=0,lwd=2)
> abline(a=4-3*sqrt(0.004),b=0,lty=6,col="red")
> abline(a=4+3*sqrt(0.004),b=0,lty=6,col="red")
5 10 15 20
Index
5.0
4.5
4.0
dane
3.5
3.0
> qqnorm(dane)
> qqline(dane)
Normal Q-Q Plot
> shapiro.test(dane)
Shapiro-Wilk normality test
data: dane
W = 0.9801, p-value =0.9357
-2 -1 0 1 2
Theoretical Quantiles
Sample Quantiles
3.85
3.90
3.95
4.00
4.05
4.10
2 2
H0 :Ã = 0.004 vs. H1 :Ã > 0.004
> #statystyka testowa
> (chi_obs<-(length(dane)-1)*var(dane)/0.004)
[1] 25.26375
> #wartość krytyczna testu
> alfa<-0.05
> qchisq(1-alfa,df=length(dane)-1)
[1] 30.14353
> #p value=P(chi2(n-1)>chi_obs)
> (p_value<-pchisq(chi_obs,df=length(dane)-1,
lower.tail=FALSE))
[1] 0.1520425
" Rozkład F-Snedecora to rozkład ciągły, który mo\e opisywać
zjawiska losowe przyjmujące tylko wartości dodatnie. Kształt tego
rozkładu jest podobny do kształtu rozkładu chi-kwadrat.
" Rozkład F-Snedecora jest charakteryzowany przez parametry nazywane
liczbÄ… stopni swobody  licznika i  mianownika .
Gęstość rozkładu F-Snedecora
w zale\ności od parametrów
F(1,1)
F(5,2)
F(10,10)
0 1 2 3 4 5
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
" Kwantyle tego rozkładu mo\na odczytać ze specjalnych tablic albo wykorzystać
program R
> qf(p = rzÄ…d kwantyla,df1 = liczba stopni swobody
 licznika , df2 = liczba stopni swobody  mianownika )
# aby uzyskać kwantyl rzędu 0,95 przy 10 stopniach swobody
 licznika i 5 stopniach swobody  mianownika
> qf(p=0.95,df1=10,df2=5)
[1] 4.735063
Test równości wariancji dla niezale\nych prób
z rozkładów normalnych
Niezale\ne próby pochodzą z rozkładów N(mX,s2X) oraz N(mY,s2Y)
X1, X , ..., X oraz Y1, Y2, ..., Yn
2 nX
Y
2 2
SX /Ã
X
~ F(nX -1, nY -1)
Wówczas
2 2
SY /ÃY
2 2 2 2
H0 :Ã = ÃY (Ã /ÃY =1)
X X
2
Statystyka testowa ma rozkład F-Snedecora
F = S2 / SY
X
Hipoteza alternatywna
Obszar krytyczny
2 2
(-"; fÄ… )
à < ÃY
X
2 2
( f1-Ä… ; + ")
à > Ã
X Y
2 2
(-"; fÄ… / 2 ) *" ( f1-Ä… / 2; + ")
à `" ÃY
X
Problem
Czy na poziomie istotności 0,05 mo\na uznać, \e wariancja
w populacji A jest mniejsza, ni\ wariancja w populacji B, jeśli
w niezale\nych próbach pobranych z obu populacji stwierdzono następujące
wartości:
> A
[1] 0.08 0.09 0.09 0.10 0.10 0.10 0.10 0.11 0.11 0.12
> B
[1] 0.00 0.03 0.04 0.04 0.05 0.05 0.06 0.07 0.08 0.08
> stem(A)
The decimal point is 2 digit(s) to the left of the |
8 | 0
9 | 00
10| 0000
11| 00
12| 0
> var(A)
> stem(B,scale=2)
[1]
The decimal point is 2 digit(s)
0.0001333333
to the left of the |
0 | 0
> var(B)
1 |
[1] 6e-04
2 |
3 | 0
>
4 | 00
var(A)/var(B)
5 | 00
6 | 0
[1] 0.2222222
7 | 0
8 | 00
> summary(A)
Min. 1st Qu. Median Mean 3rd Qu. Max.
0.0800 0.0925 0.1000 0.1000 0.1075 0.1200
> summary(B)
Min. 1st Qu. Median Mean 3rd Qu. Max.
0.0000 0.0400 0.0500 0.0500 0.0675 0.0800
> boxplot(A,B,names=c("A","B"))
A B
0.00
0.02
0.04
0.06
0.08
0.10
0.12
> par(mfrow=c(1,2),pty="s")
> shapiro.test(A)
> qqnorm(A,main="A")
> qqline(A)
Shapiro-Wilk normality test
> qqnorm(B,main="B")
data: A
> qqline(B)
W = 0.9529, p-value = 0.7026
> par(mfrow=c(1,1),pty="m")
> shapiro.test(B)
A B
Shapiro-Wilk normality test
data: B
W = 0.9396, p-value = 0.5489
-1.5 -0.5 0.5 1.5 -1.5 -0.5 0.5 1.5
Theoretical Quantiles Theoretical Quantiles
Sample Quantiles
Sample Quantiles
0.08
0.09
0.10
0.11
0.12
0.00
0.02
0.04
0.06
0.08
2 2 2 2 2 2 2 2
H0 :Ã = ÃY (Ã /ÃY =1) vs. H1 :Ã < ÃY (Ã /ÃY < 1)
X X X X
var.test
var.test
var.test(x, y, ratio = 1, alternative = c("two.sided", "less",
var.test
"greater"), conf.level = 0.95, ...)
> var.test(A,B,alternative="less")
F test to compare two variances
data: A and B
F = 0.2222, num df = 9, denom df = 9,
p-value = 0.01764
alternative hypothesis: true ratio of variances is less
than 1
95 percent confidence interval:
0.0000000 0.7064207
sample estimates:
ratio of variances Nale\y odrzucić H0 i przyjąć H1
0.2222222
Problem
Z dawniejszych badań prowadzonych wśród absolwentów pewnej
uczelni wynikało, \e w ciągu roku po ukończeniu studiów 20%
znajdowało pracę zgodną z ukończonym kierunkiem studiów.
W ubiegłym roku w próbie 500 absolwentów było 90 takich osób
(18%). Czy na poziomie istotności 0,05 mo\na stwierdzić, \e dawniej
obserwowana tendencja uległa zmianie?
Y~Bin(n=500, p=?)
Odnośnie wartości p mo\na sformułować układ hipotez, np.
H0 : p = 0,20 vs. H1 : p `" 0,20
Testowanie prawdopodobieństwa sukcesu (test dokładny)
H0 : p = p0
Statystyka testowa Y = liczba obserwowanych sukcesów
Hipoteza p-value
alternatywna
yobs
n
ëÅ‚ öÅ‚
n-i
i
P(Y d" yobs | H0 ) =
p < p0
"ìÅ‚ i ÷Å‚ p0(1- p0 )
ìÅ‚ ÷Å‚
i=0
íÅ‚ Å‚Å‚
n
n
ëÅ‚ öÅ‚
n-i
i
P(Y e" yobs | H0 )= ìÅ‚ ÷Å‚ p0(1- p0 )
p > p0
"
ìÅ‚ ÷Å‚
i
i= yobs
íÅ‚ Å‚Å‚
n
ëÅ‚ n öÅ‚
n-i
ìÅ‚ëÅ‚ öÅ‚ i ÷Å‚
÷Å‚
I(P(Y =i)d"P(Y = yobs ))ìÅ‚ìÅ‚ ÷Å‚ p0(1- p0)
p +" p0
"
ìÅ‚
÷Å‚
i
i= yobs
íÅ‚ Å‚Å‚
íÅ‚ Å‚Å‚
binom.test
H0 : p = 0,20 vs. H1 : p `" 0,20
> binom.test(x=90, n=500, p = 0.2,
alternative = "two.sided")
Nie ma podstaw do odrzucenia H0
#próba jest proporcjonalnie zwiększona
> binom.test(x=900, n=5000, p = 0.2,
alternative = "two.sided")
Nale\y odrzucić H0 i przyjąć H1
Dolna i górna granica przedziału ufności dla p na poziomie ufności
(1-a) są wyznaczane jako najmniejsze wartości spełniające
nierówności
yobs
n
n n
ëÅ‚ öÅ‚
Ä…
n-i n-i
i i
ìÅ‚ ÷Å‚ ìÅ‚ ÷Å‚
p0(1- p0) e"
"ëÅ‚ öÅ‚ p0(1- p0) e" Ä… i "
ìÅ‚ ÷Å‚ ìÅ‚ ÷Å‚
i 2 i 2
i=0 i= yobs
íÅ‚ Å‚Å‚ íÅ‚ Å‚Å‚
Dolna granica:
-1
ëÅ‚ öÅ‚
n - yobs +1
ìÅ‚
ìÅ‚1+ yobs Å" f (df 1 = 2yobs, df 2 = 2(n - yobs +1))Ä… ÷Å‚
÷Å‚
íÅ‚ / 2 Å‚Å‚
Górna granica:
-1
ëÅ‚ öÅ‚
n - yobs
ìÅ‚
ìÅ‚1+ (yobs +1)Å" f (df 1 = 2(yobs +1), df 2 = 2(n - yobs ))1-Ä… ÷Å‚
÷Å‚
íÅ‚ / 2 Å‚Å‚
Testowanie hipotezy o prawdopodobieństwie sukcesu
z wykorzystaniem aproksymacji normalnej
Gdy liczebność próby jest du\a, to przy zało\eniu,
\e prawdziwa jest hipoteza zerowa, w przybli\eniu zachodzi, \e
Y p0(1- p0)
öÅ‚
~ NëÅ‚ p0;
ìÅ‚ ÷Å‚
n n
íÅ‚ Å‚Å‚
H0 : p = p0
Statystyka testowa:
Y
- p0
n
Z =
p0(1- p0)
n
Hipoteza alternatywna Obszar krytyczny
p < p0 (-"; z )
Ä…
p > p0 (z1-Ä… ; + ")
p `" p0 (-"; zÄ… / 2 ) *" (z1-Ä… / 2; + ")
Y 1
Gdy - p0 > , mo\na stosować czynnik korekcyjny
n 2n
Warunek Czynnik korekcyjny Statystyka testowa
Y 1
- p0 -
Y 1 n 2n
Z =
- p0 > 0 -
p0 (1- p0 )
n 2n
n
Y 1
- p0 +
Y 1 n 2n
Z =
- p0 < 0 +
p0 (1- p0 )
n 2n
n
prop.test
> prop.test(x=90,n=500,p=0.2,correct=FALSE)
1-sample proportions test without continuity correction
data: 90 out of 500, null probability 0.2
X-squared = 1.25, df = 1, p-value = 0.2636
alternative hypothesis: true p is not equal to
0.2
95 percent confidence interval:
0.1488049 0.2160747
sample estimates:
p
0.18
(z_obs)^2=1.25
> prop.test(x=90,n=500,p=0.2,correct=TRUE)
1-sample proportions test with continuity correction
data: 90 out of 500, null probability 0.2
X-squared = 1.1281, df = 1, p-value = 0.2882
alternative hypothesis: true p is not equal to
0.2
95 percent confidence interval:
0.1478847 0.2171388
sample estimates:
p
0.18
Dokładny test Fishera do testowania równości dwóch p-tw sukcesu
H0 : pX = pY , gdzie X ~ Bin(m, pX ), Y ~ Bin(n, pY )
Sukces Pora\ka Ogółem
Próba X x m-x m
Próba Y y n-y n
k N-k N
Aączny rozmiar obu prób N = m+n
Aączna liczba sukcesów k = x+y
Statystyka testowa  liczba sukcesów w próbie X
Aączna liczba sukcesów (x+y=k) jest uwa\ana za ustaloną
m n
ëÅ‚ öÅ‚ëÅ‚ öÅ‚
ìÅ‚ ÷Å‚ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚ìÅ‚k - i÷Å‚
i
íÅ‚ Å‚Å‚íÅ‚ Å‚Å‚
P(X = i)=
N
ëÅ‚ öÅ‚
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
k
íÅ‚ Å‚Å‚
(i = max{0,k-n}, ..., min{m,k})
Zmienna losowa X ma rozkład hipergeometryczny
Hipoteza p-value
alternatywna
m n
ëÅ‚ öÅ‚ëÅ‚ öÅ‚
ìÅ‚ ÷Å‚ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚ìÅ‚k - i÷Å‚
x
i
íÅ‚ Å‚Å‚íÅ‚ Å‚Å‚
pX < pY P(X d" x | H0 )=
"
N
ëÅ‚ öÅ‚
i=max{0,k -n}
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
k
íÅ‚ Å‚Å‚
m n
ëÅ‚ öÅ‚ëÅ‚ öÅ‚
ìÅ‚ ÷Å‚ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚ìÅ‚k - i÷Å‚
min{m,k}
i
íÅ‚ Å‚Å‚íÅ‚ Å‚Å‚
pX > pY P(X e" x | H0 )=
"
N
ëÅ‚ öÅ‚
i=x
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
k
íÅ‚ Å‚Å‚
ëÅ‚ m n öÅ‚
ëÅ‚ öÅ‚ëÅ‚ öÅ‚
ìÅ‚
ìÅ‚ ÷Å‚ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚ìÅ‚k - i÷Å‚ ÷Å‚
min{m,k}
i
ìÅ‚ ÷Å‚
pX `" pY I{P( X =i)d"P( X =x)}ìÅ‚ íÅ‚ Å‚Å‚íÅ‚ Å‚Å‚ ÷Å‚
"
N
ëÅ‚ öÅ‚
i=max{0,k -n}
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
k
íÅ‚ Å‚Å‚
íÅ‚ Å‚Å‚
Problem
Biolog chce zbadać, czy istnieje ró\nica w odsetkach drzew
zaatakowanych przez szkodniki w zale\ności od gatunków X i Y tych
drzew. Zbadał w tym celu drzewa na pewnym terenie i otrzymał:
chore zdrowe Ogółem
Gatunek X 1 8 9
Gatunek Y 5 2 7
6 10 16
> (dane<-matrix(c(1,8,5,2),byrow=TRUE,nrow=2,
dimnames=list(Gatunek= c( X", Y"),
Stan=c("Chore","Zdrowe"))))
Stan
Gatunek Chore Zdrowe
X 1 8
Y 5 2
H0 : pX = pY vs. H1 : pX `" pY
Statystyka testowa: liczba drzew chorych spośród gatunku X
(wartość obserwowana = 1 )
ëÅ‚ m n öÅ‚
ëÅ‚ öÅ‚ëÅ‚ öÅ‚
ìÅ‚
ìÅ‚ ÷Å‚ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚ìÅ‚k - i÷Å‚ ÷Å‚
min{m,k}
i
ìÅ‚ ÷Å‚
Å‚Å‚
p - value = I{P( X =i)d"P( X =x)}ìÅ‚ íÅ‚ Å‚Å‚íÅ‚ =
"
÷Å‚
N
ëÅ‚ öÅ‚
i=max{0,k -n}
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
k
íÅ‚ Å‚Å‚
íÅ‚ Å‚Å‚
ëÅ‚ 9 7 öÅ‚
ëÅ‚ öÅ‚ëÅ‚ öÅ‚
ìÅ‚
ìÅ‚ ÷Å‚ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚ìÅ‚6 - i÷Å‚ ÷Å‚
min{9,6}
i
ìÅ‚ ÷Å‚
Å‚Å‚
= I{P( X =i)d"P( X =1)}ìÅ‚ íÅ‚ Å‚Å‚íÅ‚
"
÷Å‚
16
ëÅ‚ öÅ‚
i=max{0,6-7}
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
k
íÅ‚ Å‚Å‚
íÅ‚ Å‚Å‚
> fisher.test(dane)
Fisher's Exact Test for Count Data
data: dane
p-value = 0.03497
alternative hypothesis: true odds ratio is not
equal to 1
95 percent confidence interval:
0.0009525702 0.9912282442
sample estimates:
odds ratio
Szansa, \e gatunek B będzie chory,
0.06464255
jest 1/0.065=15.4 razy większa, ni\
ma to miejsce dla gatunku A
Iloraz szans (odds ratio) - statystyka, która mierzy siłę związku między
X i Y
pX /(1- pX )
¸ =
pY /(1- pY )
Iloraz szans równy 1: brak związku między zmiennymi
Iloraz szans > 1: pX > pY
Iloraz szans < 1: pX < pY
Test dla ró\nicy dwóch p-tw sukcesu w oparciu o du\e próby
H0 : pX - pY = ´0 gdzie X ~ Bin(m, pX ), Y ~ Bin(n, pY )
Statystyka testowa (równości co do rozkładu zachodzą w przybli\eniu)
Ć Ć
(pX - pY )-´0
Z = ~ N(0,1)
Ć Ć Ć Ć
pX (1- pX ) pY (1- pY )
+
m n
Gdy d0 = 0
X +Y
P =
m + n
Ć Ć
pX - pY
Z = ~ N(0,1)
P(1- P)(1/ m +1/ n)
H0 : pX = pY
Statystyka testowa
Ć Ć
pX - pY
Z = ~ N(0,1)
P(1- P)(1/ m +1/ n)
Hipoteza alternatywna Obszar krytyczny
pX < pY (-"; z )
Ä…
pX > pY (z1-Ä… ; + ")
pX `" pY (-"; zÄ… / 2 ) *" (z1-Ä… / 2; + ")
Gdy| pX - pY |> 0,5(1/ m +1/ n) , mo\na stosować czynnik
korekcyjny
Warunek Czynnik korekcyjny Statystyka testowa
1 1 1
ëÅ‚ öÅ‚
pX - pY - +
ìÅ‚ ÷Å‚
1 1 1
ëÅ‚ öÅ‚
- + 2 m n
pX - pY > 0
ìÅ‚ ÷Å‚
íÅ‚ Å‚Å‚
Z =
2 m n
íÅ‚ Å‚Å‚
P(1- P)(1/ m +1/ n)
1 1 1
ëÅ‚ öÅ‚
pX - pY + +
ìÅ‚ ÷Å‚
1 1 1
ëÅ‚ öÅ‚
+ 2 m n
pX - pY < 0 ìÅ‚ ÷Å‚
íÅ‚ Å‚Å‚
Z =
2 m n
íÅ‚ Å‚Å‚
P(1- P)(1/ m +1/ n)
Problem
Czy mę\czyzni, którzy przyjmują aspirynę są mniej nara\eni na
ryzyko ataku serca?
Atak Brak ataku
Ogółem
serca serca
Aspiryna 104 10 933 11 037
Placebo 189 10 845 11 034
Razem 293 21 778 22 071
H0 : pX = pY vs. H1 : pX < pY
> prop.test(x=c(104,189),n=c(11037,11034),
alternative="less",correct=TRUE)
> (dane<-matrix(c(104,10933,189,10845), byrow=TRUE,
nrow=2,dimnames=list(c("Aspiryna","Placebo"),
c("atak serca","brak ataku"))))
atak serca brak ataku
Aspiryna 104 10933
Placebo 189 10845
> fisher.test(dane,alternative="less")
Fisher's Exact Test for Count Data
data: dane
p-value = 3.253e-07
alternative hypothesis: true odds ratio is less than 1
95 percent confidence interval:
0.0000000 0.6721508
sample estimates:
odds ratio
0.5458537


Wyszukiwarka