Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
Wykład 2. Próba losowa prosta. Podstawowe statystyki. Twierdzenia graniczne.
Proba losowa prosta
�� Załóżmy, że badamy cechę pewnej populacji opisaną zm. los.X,
której rozkład jest nam nieznany (lub mamy o nim tylko
częściowe informacje). W wyniku przeprowadzenia n
niezależnych doświadczeo, w tych samych warunkach,
otrzymujemy n - wartości cechy: x1,x2,& ,xn. Ciąg ten nazwiemy
próbą (próbką). W statystyce matematycznej zakłada się, że
otrzymane wartości próby są wynikiem działania pewnego
 mechanizmu losowego . Przy naszych założeniach (niezależne
doświadczenia, powtarzane w tych samych warunkach)
 mechanizm przypomina tzw. urnowe losowanie ze
zwracaniem.
�� Gdybyśmy, mieli możliwości powtarzania badao złożonych z n
doświadczeo, to za każdym razem otrzymalibyśmy jakąś próbę.
�� Zauważmy, że zbiór możliwych wartości {x1} obserwowanych
jako pierwszy element w kolejnych n-elementowych próbach
można traktowad jako realizacje pewnej zmiennej losowej,
którą nazwiemy X1, Podobnie {x2}  możliwe wartości drugich
wyników w kolejnych próbach  można traktowad jako
realizacje zm. los.,którą nazwiemy X2 itd. , aż dojdziemy do
zbioru {xn}, który potraktujemy jako możliwe realizacje zmiennej
Xn.
�� Mówiąc krótko: dane doświadczalne x1,x2,& ,xn , które
obserwujemy jako wyniki doświadczeo, potraktujemy jako
realizacje (wartości) układu zmiennych X1,...,Xn. Z tego też
względu, zmienne losowe X1, X2, & , Xn nazwiemy zmiennymi
obserwowalnymi lub obserwacjami.
1
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
�� Zauważmy, że przy naszych założeniach dotyczących losowania,
zmienne X1, X2, & , Xn można traktowad jako niezależne i mające
taki rozkład jak badana cech X.
�� Wygodnie jest założyd, że zmienne X1, X2, & , Xn są określone na
wspólnej przestrzeni probabilistycznej. Oznacza to, że dla
konkretnej próby x1,...,xn, mamy x1= X1( ),& ., xn=Xn( ), dla
pewnego .
Przykład. W urnie mamy 10 losów: 5 losów przegrywających-o
wartości zero, 2 wygrywające o wartości 1zł, 3 wygrywające o
wartości 2 zł.
Wylosowujemy 5 losów. Załóżmy, że jest to  losowanie ze
zwracaniem . Niech zm. los. X1 oznacza potencjalne wartości losu
wybranego jako pierwszy, X2 potencjalne wartości losu wybranego
jako drugi, itd. Ostatnia zmienna X5 oznacza potencjalne wartości
losu wybranego w piątym losowaniu.
Zauważmy, że przy tym postępowaniu wszystkie zmienne są
niezależne i mają jednakowy rozkład, który jest rozkładem
następującej zm. los. X określonej na populacji złożonej z 10 biletów:
P(X=0)=0.5, P(X=1)=0.2, P(X=2)= 0.3.
Definicja. Próbą losową prostą pochodzącą z rozkładu zm.los. X,
jest ciąg zm. los. X1, X2,& ,Xn, które są niezależne i mają taki sam
rozkład jak X. (Zapis w skrócie: X1, X2,& ,Xn ~X)
Uwaga.a) Jeżeli rozkład zm.los. tworzących próbę jest określony w
inny sposób, np. przez dystrybuantę( funkcję gęstości lub nazwę
rozkładu), to mówimy, że próba pochodzi z rozkładu o danej
dystrybuancie (funkcji gęstości lub z rozkładu o danej nazwie).
(Np. X1, X2,& ,Xn ~ N( oznacza, że próba pochodzi rozkładu
normalnego o nieznanych parametrach
2
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
b) W statystyce rozkład, z którego pochodzi próba nazywany jest
rozkładem teoretycznym.
c) W naszych rozważaniach ograniczmy się tylko do takich zm.
obserwowalnych, które tworzą próbę losową prostą. Dlatego w
dalszych rozważaniach będziemy czasami pomijad przymiotnik
 prosta . ( Nazwa  próba prosta pochodzi od sposobu tworzenia
próbek x1,x2,& ,xn. W przypadku modeli urnowych jest to losowanie ze
zwracaniem. Należy jednak zaznaczyd, że w statystyce rozważa się też
próby losowe, które nie są proste).
Model statystyczny
W praktycznych zagadnieniach statystycznych rozkład teoretyczny nie
jest dokładnie znany. Zadaniem statystyka jest  sensowne
przybliżanie brakujących informacji o rozkładzie.
W pewnych przypadkach, już z samej natury zjawiska losowego,
statystyk może mied pewne częściowe informacje o rozkładzie
teoretycznym. Znany jest np. typ rozkładu teoretycznego, lecz nie są
znane jego parametry (np. rozkład wykładniczy z nieznanym
parametrem l� ). W innych sytuacjach zadanie polega na przybliżaniu
całego rozkładu.
Budując matematyczny model sytuacji jaką napotyka statystyk
zakładamy, że nieznany rozkład teoretyczny, który  rządzi
zachowaniem obserwacji (a więc ich rozkładem) zależy od parametru,
q� ��Q�. Zbiór Q�może oznaczad zarówno możliwe parametry liczbowe
konkretnego rozkładu, jak i całe rodziny rozkładów.
Pq�
Definicja Modelem statystycznym nazywamy rodzinę (W�, F, )
q���Q� wraz z ciągiem zmiennych losowych X1,X2,L�,Xn
określanych na W�, i nazywanych obserwacjami.
3
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
Jak już zaznaczono, w naszych rozważaniach, ograniczamy się do
takich obserwacji, które tworzą próbę losową prostą.
Założenie. Obserwacje X1,X2,L�,Xn są niezależnymi zmiennymi
losowymi o jednakowym rozkładzie. (Nieznany rozkład jest rządzony
przez rodzinę prawdopodobieostw .
Pq�
Uwaga. Rozkłady, którymi  rządzi rodzina rozkładów w
naturalny sposób dziedziczą parametr q�.
a
Fq�(x) =� Pq�(X Ł� x) fq�
Np. , jest gęstością, jeśli Fq�(a) =� (x)dx .
��f
q�
-�Ą�
STATYSTYKI
Niech X1, X2,L�, Xn będą obserwacjami tworzącymi próbę losową
prostą w ustalonym modelu statystycznym.
Definicja: Każdą funkcję borelowską T będącą funkcją X1,X2,& ,Xn
nazywamy statystyką.
Statystyka-jako funkcja zm. los.- jest także zm. los. Jej rozkład zależy
od postaci przekształcenia T oraz od rozkładu zmiennych X1,X2,& ,Xn.
Przykłady statystyk:
a) R = max (X1, X2 , ..., Xn) - min(X1, X2 , ..., Xn)
1
b) Z = (X1 +� Xn )
2
n
1
c) X =�
��X ---- średnia arytmetyczna z próby
i
n
i=�1
n
1
d) \
2 =� (Xi -� X)2 ---- wariancja z próby ( z daszkiem)
��
n
i=�1
4
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
n
1
e) \
=� (Xi -� X)2 ---- odchylenie standardowe z próby
��
n
i=�1
n
1
f) S2 =� (Xi -� X)2 ---- wariancja z próby
��
n -�1i=�1
n
1
g) S =� (Xi -� X)2 ---- odchylenie standardowe z próby
��
(n -�1)
i=�1
Z definicji wynika, że n\
2 =� (n -�1)S2, stąd \
2 =� [(n -�1)/ n]S2
n
1
k
h) �k = Xi ---- k-ty moment zwykły z próby
��
n
i=�1
n
k
1
Ć
i) mk = (Xi -� X) ---- k-ty moment centralny z próby
��
n
i=�1
Jak widad, momenty z próby są odpowiednikami momentów
zwykłych i centralnych z rozkładu zm. los. Dla rozkładów zm. los.
mamy bowiem
ak = E(Xk) ---- k-ty moment zwykły z rozkładu zm. los.,
m�k = E(X-E(X))k ---- k-ty moment centralny z rozkładu.
Przykład wykorzystania średniej arytmetycznej do oceny wartości oczekiwanej rozkładu
teoretycznego (oparty na regule 3
Zadania statystyki
5
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
Zadania statystyki
a) Poznad rozkłady podstawowych statystyk. (Do tego celu
wykorzystamy aparat funkcji charakterystycznych, który
wprowadziliśmy na wykładach z rachunku prawdopodobieostwa)
b) Wykorzystujac rozkłady odpowiednich statystyk podad sposoby
estymacji (przybliżania, szacowania) wartości nieznanego parametru
rozkładu, bądz też całego rozkładu, (tzw. problem estymacji).
c) Wykorzystujac rozkłady odpowiednich statystyk podad sposoby
testowania hipotez o nieznanym parametrze.
d) W punktach b) i c) przy wykorzystywaniu asymptotycznych
rozkładów statystyk korzysta sie tzw. twierdzeo granicznych, które
znamy z rachunku prawdopodobieostwa.
Prawa Wielkich Liczb (PWL)
Prawa te można interpretowad w następujący sposób: jeżeli rozmiar próbki
może się dowolnie zwiększad, to średnia arytmetyczna z próby losowej
zbiega  w pewnym sensie  do wartości
oczekiwanej rozkładu, z którego pochodzi próba.
Przypominamy.
Twierdzenie 2.1. (Słabe PWL ). Jeżeli Sn = gdzie
są niezależnymi zm. los. o jednakowym rozkładzie ze
skooczoną wartością oczekiwaną , to dla każdego
6
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
Zbieżność prawie na pewno i zbieżność według
prawdopodobieństwa
�� Niech zm.los. Yn, n = 1,2,& będą określone na (W�,F, P) i niech
g R.
Definicja. Ciąg zm. losowych {Yn } zbiega do liczby g
a) z prawdopodobieństwem 1 (prawie na pewno), co zapisujemy,
Yn �� g , jeśli
p.n.
P({w�:Yn (w�) �� g}) =� 1;
b ) według prawdopodobieństwa (stochastycznie, według miary), co
zapisujemy Yn ��g , jeśli
p
lim P({w� : | Yn (w�) -� g |>� e�}) =� 0 dla każdego e� >� 0.
n
Innymi słowy
dla każdegoe� >� 0.
Pokazywaliśmy, że ze zbieżności p. n. wynika zbieżność
stochastyczna. Implikacja w drugą stronę nie jest prawdziwa. (por.
ćwiczenia).
Twierdzenie 2.3. (MPWL Kołmogorowa). Jeżeli X1,X2,& , Xn ,&
są niezależnymi zm. los. o jednakowym rozkładzie z wartością
oczekiwaną m, to dla każdego
) = 1
Wnioski z Twierdzenia Kołmogorowa o MPWL
7
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
1.MPWL dla pierwszych momentów. Jeżeli X1,X2,& , Xn są
niezależnymi zm. los. o jednakowym rozkładzie z wartością
oczekiwaną , to
(*) �� m�
p.n.
Innymi słowy : w jezyku prostych prób losowych (*) oznacza, że
przy zwiększaniu liczności prób, średnie arytmetyczne z prób
zbiegają do średniej teoretycznej p.n.
2.MPWL dla k-tych momentów. Jeżeli X1,X2,& , Xn jest próbą
losową prostą z rozkładu, w którym cecha X ma skończony k-ty
n
1
k
moment . Wówczas �k = Xi
��
n
i=�1
Dowód. Wystarczy zauważyć, że są niezależne o
jednakowym rozkładzie i skorzystać z 1.
3. MPWL dla zm. los. zerojedynkowych. Z Twierdzenia o MPWL
wynika, że dla ciągu niezależnych zm. los. zerojedynkowych
X1,X2,& ,Xn z prawdopodobieństwem sukcesu p, prawdziwa jest
następująca własność:
= p prawie na pewno (p.n.)
Innymi słowy : w przypadku prostych prób losowych częstości
sukcesów w próbach zbiegają p.n. do teoretycznego
prawdopodobieostwa sukcesu.
4. Definicja częstościowa prawdopodobieostwa jest uzasadniona.
Jeśli przy niezależnym powtarzaniu doświadczenia otrzymujemy
8
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
wyniki ,& , , to częstośd pojawiania się zdarzenia A wynosi
. Na mocy (MPWL) otrzymujemy
E( p.n.
Rozkład empiryczny
�� Niech ciąg zm. los. X1,X2,& ,Xn oznacza próbę losową prostą
n
1
Ć
Niech Fn(x,w�) =� 1(Xi (w�)Ł�x) dla ustalonego x�� R.
��
def n
i=�1
�� Zauważmy, że P(1(Xi Ł�x) =1) = P(Xi Ł� x) =� F(x)
F oznacza dystrybuantę rozkładu teoretycznego. Ciąg
{1(XiŁ�x)},i =�1,2,...jest ciągiem zmiennych los. niezależnych
ponieważ były niezależne.
Wniosek . Dystrybuanta empiryczna przy ustalonym x jest średnią
arytmetyczną niezależnych zmiennych losowych o jednakowym
rozkładzie z prawdopodobieostwem sukcesu w pojedynczej próbie
p = F(x).
Zatem z MPWL dla schematu Bernoulliego mamy
1X1Ł�x +�1X2Ł�x +�L�1Xn Ł�x
Ć
Fn (x) =� �� F(x) p.n. przy n �� Ą�
.
n
Mamy więc następujące twierdzenie.
Twierdzenie 2.2 (O zbieżności dystrybuant empirycznych) Jeżeli
ciąg X1, X2, ...,Xn jest prostą próbą losową pochodzącą z rozkładu o
dystrybuancie F, to dla każdego x��R
9
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
Ć
Fn (x)��F(x) przy n�� Ą�.
p.n
Uwaga. Prawdziwy jest mocniejszy wynik (podstawowy w statystyce).
Wyraża go następujące twierdzenie.
Twierdzenie 2.3 Gliwienki  Cantellego. ( por. R.Zielioski  Siedem
wykładów...,PWN, 1990). Jeżeli ciąg X1, X2, ...,Xn jest prostą próbą
losową z rozkładu o dystrybuancie F, to
Ć
sup | Fn (x) -� F(x) | ��0 przy n �� Ą�
p.n
-�Ą�<�x<�Ą�
Wniosek. Jeżeli próba może byd dowolnie liczna to dystrybuantę z
rozkładu, z którego pochodzi, można przybliżad z dowolną
dokładnością.
Rozkład normalny (przypominamy)
��
1 (x -� m�)2 ł�
f (x) =�
a) Funkcja gęstości: expę�-�
ś�
s� 2p�
2s�2 ��
��
b) E(X) =m�, Var(X) =� s�2
c) Rozkład normalny jest indeksowany parametrami m�,s�.
Oznaczenie: N(m�,s�)
d) Zdanie: zm. los. X ma rozkład normalny z parametrami m�,s�
zapisujemy w skrócie: X~ N(m�,s�)
e) (O liniowym przekształceniu zm. los. normalnej. Por. Rach.Praw.
Wykład ). Jeżeli X ma rozkład normalny N(m�,s�), to dla dowolnych
liczb a,b (aą� 0) zmienna Y=aX+b ma rozkład N(am�+b,|a|s�).
10
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
Centralne Twierdzenie Graniczne (CTG)
Twierdzenie 2.4. (CTG). Jeżeli X1,X2,K�,Xn tworzą próbę losową
prostą pochodzącą z rozkładu w wartości oczekiwanej E(Xi) = m� i
X1 +�L�+� Xn
Xn =�
wariancji Var (Xi) = s�2 > 0 oraz to dla każdej
n
liczby a
(Xn -� m�) n
lim P( Ł� a) =� F�(a)
, (**)
s�
n��Ą�
gdzie
a
2
1
F�(a) =�
��e-�x / 2dx, a �� R.
2p�
-�Ą�
Uwagi do CTG
�� Zauważmy, że E( Xn ) = m�, D( Xn ) = s� / n .
(Xn -� m�) n
�� Zatem zmienna los. jest  standaryzowaną średnią
s�
arytmetyczną . Funkcja F� jest dystrybuantą rozkładu N(0,1).
(**) oznaczają , że dystrybuanta standaryzowanej średniej
arytmetycznej zbiega, w każdym punkcie, do dystrybuanty
standardowego rozkładu normalnego.
(Xn -� m�) n
�� Inny zapis tezy CTG: �� N(0,1).
s�
d
Ten zapis oznacza zbieżnośd nazywaną zbieżnością według rozkładu.
Definicja (Zbieżnośd według rozkładu). Mówimy, że ciąg zm.
los.{Xn} zbiega według rozkładu do zm. los. X, jeśli ciąg dystrybuant
11
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
zmiennych Xn zbiega do dystrybuanty zmiennej X w każdym punkcie
ciągłości dystrybuanty zmiennej X.
�� W przypadku CTG dystrybuanty zmiennych losowych (w tym
przypadku dystrybuanty standaryzowanych średnich
arytmetycznych) zbiegają, w każdym punkcie, do
dystrybuanty zm. los. X o rozkładzie N(0,1). Zbieżnośd zachodzi
w każdym punkcje, ponieważ dystrybuanta F�
jest funkcją
ciągłą.
�� Zauważmy, że przekształcając wzór (*) tezę CTG można zapisad
(Sn -� nm�)
w postaci ��N(0,1), gdzie
s� n d
Sn =� X1 +� X2 +�K�+� Xn.
Oznacza to, że dla dostatecznie dużych n, Sn =� X1 +� X2 +�K�+� Xn
ma rozkład N(n
Jako wniosek z CTG otrzymujemy następujące twierdzenie.
Twierdzenie 2.5 ( Twierdzenie de Moivre a-Laplace a). Jeżeli
X1 +� X2 +�K�+� Xn jest liczbą sukcesów w n- próbach Bernoulliego
z prawdopodobieństwem pojedynczego sukcesu p, a Xn jest
średnią arytmetyczna liczby sukcesów, to dla każdej liczby a
(Xn -� p) n
lim P( Ł� a) =� F�(a) ,
p(1-� p)
n��Ą�
gdzie
12
Mat.Stat. Wykład 2. 2013L. Ryszarda Rempała. Materiały dydaktyczne
a
2
1
F�(a) =�
��e-�x / 2dx, a �� R.
2p�
-�Ą�
Dowód. Zastosowano CTG do niezależnych zmiennych
zerojedynkowych o rozkładach: P(Xi = 1) = p, P(Xi =0)=1-p.
Przypominamy, że E(Xi) = p, Var (Xi) = p(1-p).
13