4_Prawa wielkich liczb i twierdzenia graniczne

• Nierówność Czebyszewa

• Prawo wielkich liczb Bernoulliego

• Twierdzenie Moivre’a-Laplace’a

• Twierdzenie Linderberga-Levy’ego

• Twierdzenie Lapunowa

Nierówność Czebyszewa

$$P\left( \left| X - E\left( X \right) \right| \geq k\sigma \right) \leq \frac{1}{k^{2}}$$

Lemat Dla zmiennej losowej Y > 0 spełniona jest nierówność

P(Y≥K) ≤ E(Y)/K

Dowód

E(Y) = ∫₀^∞y f(y) dy  ≥ ∫_K^∞y f(y) dy ≥ K∫_K^∞ f(y) dy = K * P(Y≥K)

Zastosujemy udowodniony Lemat do zmiennej losowej Y = (X−E(X))²

Obliczamy E(Y) =  E((X−E(X))²) = σ²

Dla K = k²σ² lemat przyjmuje postać

$$P\left( \left( X - E\left( X \right) \right)^{2} \geq k^{2}\sigma^{2} \right) \leq \frac{1}{k^{2}}$$

Oznacza to, że wartości zmiennej losowej X są skupione wokół wartości oczekiwanej E(X) a prawdopodobieństwo oddalenia się od niej o k-krotność odchylenia standardowego σ jest odwrotnie proprcjonalne do k².

Prawo wielkich liczb Bernoulliego

Oznaczamy przez {Y_n} ciąg zmiennych losowych o rozkładzie

$$P\left( Y_{n} = \frac{r}{n} \right) = \begin{pmatrix} n \\ r \\ \end{pmatrix}p^{r}\left( 1 - p \right)^{n - r}$$

gdzie 0 < p < 1 a r przybiera wartości 0,1,2,…,n.

Twierdzenie Ciąg zmiennych X_n = Y_n − p jest stochastycznie zbieżny do 0

Czyli dla dowolnego ε > 0 zachodzi

$$\begin{matrix} \lim \\ n \rightarrow \infty \\ \end{matrix}P\left( \left| X_{n} \right| > \varepsilon \right) = 0$$

Dowód opieramy na podobieństwie rozkładów zmiennych X_n, Y_n do rozkładu dwumianowego

E(X_n)=0 $\sigma_{n} = \sqrt{p\left( 1 - p \right)/n}$

Wstawiając do nierówności Czebyszewa

$$P\left( \left| X_{n} \right| > k\sqrt{p\left( 1 - p \right)/n} \right) \leq \frac{1}{k^{2}}$$

Kładąc $k = \varepsilon\sqrt{\frac{n}{p\left( 1 - p \right)}}$ otrzymamy

$$P\left( \left| X_{n} \right| > \varepsilon\ \right) \leq \frac{p\left( 1 - p \right)}{n}\varepsilon^{2} < \frac{\varepsilon^{2}}{n}$$

Oznacza to, że przy bardzo dużej licznie powtórzeń doświadczeń stosunek liczby przypadków pozytywnych r do ogólnej liczby przypadków dąży do prawdopodobieństwa p

$$\begin{matrix} \lim \\ n \rightarrow \infty \\ \end{matrix}\text{\ \ }\frac{r}{n} \rightarrow p$$

Twierdzenie Moivre’a-Laplace’a

Ciąg dystrybuant unormowanych zmiennych losowych o rozkładzie dwumianowym

$$Z_{n} = \frac{X_{n} - E\left( X_{n} \right)}{\sigma_{x}} = \frac{X_{n} - p}{\sqrt{\frac{p\left( 1 - p \right)}{n}}}$$

jest zbieżny do rozkładu normalnego, czyli zachodzi

$$\begin{matrix} \lim \\ n \rightarrow \infty \\ \end{matrix}\text{\ \ }F_{n}\left( z \right) = \frac{1}{\sqrt{2\pi}}\int_{- \infty}^{y}{e^{\frac{- y^{2}}{2}}\text{dy}}$$

Twierdzenie Linderberga-Levy’ego

Rozważamy sumę S_n zmiennych losowych X_n o jednakowych rozkładach

E(X_n) = m D²(X_n) = σ² S_n = X₁ + X₂ + … + X_n

Zmienna unormowana

$$Y_{n} = \frac{S_{n} - E\left( S_{n} \right)}{\sigma\left( S_{n} \right)} = \frac{S_{n} - mn}{\sigma\sqrt{n}}$$

ma dystrybuantę dążącą w granicy do rozkładu normalnego

$$\begin{matrix} \lim \\ n \rightarrow \infty \\ \end{matrix}\text{\ \ }F_{n}\left( y \right) = \frac{1}{\sqrt{2\pi}}\int_{- \infty}^{y}{e^{\frac{- y^{2}}{2}}\text{dy}}$$

Twierdzenie Moivre’a-Laplace’a jest szczególnym przypadkiem twierdzenia Linderberga-Levy’ego

Twierdzenie Lapunowa

Niech X_n będzie ciągiem niezależnych zmiennych losowych o wartościach oczekiwanych m_n i odchyleniach standardowych σ_n

Ciąg dystrybuant zmiennych losowych

$$Y_{n} = \frac{\sum_{k = 1}^{n}\left( X_{k} - m_{k} \right)}{\sqrt{\sum_{k = 1}^{n}\sigma_{k}^{2}}}$$

ma dystrybuantę dążącą w granicy do rozkładu normalnego

$$\begin{matrix} \lim \\ n \rightarrow \infty \\ \end{matrix}\text{\ \ }F_{n}\left( y \right) = \frac{1}{\sqrt{2\pi}}\int_{- \infty}^{y}{e^{\frac{- y^{2}}{2}}\text{dy}}$$

Rozkład równomierny/prostokątny w przedziale

Funkcja gęstości

Dystrybuanta

Momenty

Suma dwóch składników o rozkładzie prostokątnym

Funkcja gęstości

Dystrybuanta

Zamiana zmiennych

Jacobian przekształcenia

Granice całkowania

Funkcja gęstości sumy

kontrola ciągłości na granicach przedziałów

rozkład trójkątny

Momenty

Suma trzech składników o rozkładzie prostokątnym

Jest równoważna sumie o rozkładzie trójkątnym i o rozkładzie prostokątnym

Funkcja gęstości istnieje w prostokącie

Zamiana zmiennych

Jacobian przekształcenia

Granice całkowania

Momenty

Dla kolejnych sum obliczono funkcje gęstości i momenty

Liczba składników	12*m2	240*m4
1	1	3
2	2	16
3	3	39
4	4	72
5	5	115
6	6	168

Określają je wzory

stąd

Podobieństwo do rozkładu normalnego

Prawdopodobieństwo poza granicą błędu – ogony

Suma n składników należy do przedziału

jej odchylenie standardowe wynosi

po normalizacji granice przedziału wynoszą

Liczba składników	Znormalizowana granica	Prawdopodobieństwo, że zmienna o rozkładzie normalnym przyjmuje wartości spoza przedziału
1	1.73	0.916
2	2.45	0.986
3	3.00	0.997
4	3.46	0.9994
5	3.87	0.9999
10	5.47	1 - 10-7

Wykresy i rozkłady dla n>3 w programie Rsum.exe

Twierdzenia graniczne o sumach niezależnych składników losowych

Sumy niezależnych zmiennych losowych dążą w granicy do rozkładu normalnego. Ten fakt został udowodniony w wielu twierdzeniach przy różnych założeniach

• dla sum w postaci rozkładów dwumianowych jest to twierdzenie Moivre’a-Laplace’a

• dla sum niezależnych zmiennych losowych o jednakowym rozkładzie i skończonych momentach rzędu pierwszego i drugiego jest to twierdzenia Linderberga-Levy’ego

• dla sum niezależnych zmiennych losowych typu skokowego mających momenty rzędu trzeciego jest to twierdzenie Lapunowa, twierdzenie Linderberga-Fellera i twierdzenie Gniedenki

Twierdzenia powyższe określają zbieżność graniczną dla nieskończonej liczby składników. Dla geodetów interesujące jest jak szybko się zbliżamy do rozkładu normalnego. Wykorzystamy do celu kurtozę określoną wzorem:

$Kurt = \frac{\mu_{4}}{\sigma^{4}} - 3$

W niektórych pracach, szczególnie starszych, można spotkać się ze wzorem na kurtozę, w którym nie odejmuje się od ułamka liczby 3. Nowa definicja kurtozy jest jednak bardziej wygodna, gdyż:

• kurtoza rozkładu normalnego wynosi 0

• jeśli Y jest sumą n niezależnych zmiennych losowych, każdej o rozkładzie identycznym z rozkładem zmiennej losowej X, zachodzi własność: Kurt[Y] = Kurt[X] / n.

Rozkłady Sum niezależnych zmiennych losowych na przykładzie rozkładu dyskretnego rzutu kostką

1 kostka – tabela rozkładu prawdopodobieństwa

Xi	1	2	3	4	5	6
Pi	1/6	1/6	1/6	1/6	1/6	1/6

Uproszczona tabela rozkładu prawdopodobieństwa

Xi	1	2	3	4	5	6
6*Pi	1	1	1	1	1	1

2 kostki Tabela przedstawia:

- w nagłówku i boczku tabeli rozkłady składników,

- w środku sumy cząstkowe (wartość, prawdopodobieństwo)

+	1 1/6	2 1/6	3 1/6	4 1/6	5 1/6	6 1/6
1 1/6	2 1/36	3 1/36	4 1/36	5 1/36	6 1/36	7 1/36
2 1/6	3 1/36	4 1/36	5 1/36	6 1/36	7 1/36	8 1/36
3 1/6	4 1/36	5 1/36	6 1/36	7 1/36	8 1/36	9 1/36
4 1/6	5 1/36	6 1/36	7 1/36	8 1/36	9 1/36	10 1/36
5 1/6	6 1/36	7 1/36	8 1/36	9 1/36	10 1/36	11 1/36
6 1/6	7 1/36	8 1/36	9 1/36	10 1/36	11 1/36	12 1/36

Dla uzyskania rozkładu sumy musimy zsumować prawdopodobieństwa sum cząstkowych o tej samej wartości np. zakolorowana suma cząstkowa 4 występuje 3-krotnie wzdłuż linii skośnej.

Tabela rozkładu prawdopodobieństwa sumy 2 kostek

Xi	2	3	4	5	6	7	8	9	10	11	12
36*Pi	1	2	3	4	5	6	5	4	3	2	1

3 kostki Tabela przedstawia:

- w nagłówku i boczku tabeli rozkłady składników,

- w środku sumy cząstkowe (wartość: prawdopodobieństwo*216)

Rozkład jednego składnika 6*p	Rozkład sumy 2 składników – wartość, prawdopodobieństwo*36
	2: 1
1: 1	3: 1
2: 1	4: 1
3: 1	5: 1
4: 1	6: 1
5: 1	7: 1
6: 1	8: 1

Tabela rozkładu prawdopodobieństwa sumy 3 kostek

Xi	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18
216*Pi	1	3	6	10	15	21	25	27	27	25	21	15	10	6	3	1

Liczby wiersza drugiego można otrzymać z wiersza drugiego tabeli rozkładu 2 składników jako sumy 1,1-2,1-3,1-4 ,1-5,1-6 początkowych elementów a dalej 2-7, 3-8,4-9,5-10,6-11 a na końcu 7-11,8-11,9-11,10-11 i 11

Wykonaj wykresy rozkładu normalnego i sum 1,2,3,4 skłądników

Oblicz wartości oczekiwane, momenty centralne 2,4 i kurtozę µ₄/ µ₂²−3

Kurtoza maleje proporcjonalnie do liczby składników