Jeśli (X\,X2, ■■■■) jest ciągiem niezależnych zmiennych losowych o jednakowych rozkładach, przyjmujących wartości ograniczone, to intuicyjnie ich średnia arytmetyczna *1+'^+'y,ł dla dostatecznie dużych wartości n powinna być zbieżna do pewnej wartości stałej (pomyśl o rzutach monetą lub kostką). Uściślenie tej intuicji wymagać będzie określenia co to znaczy tutaj zbieżna (pojęcie dla zmiennych losowych a nie liczb) oraz motywuje wprowadzenie wartości oczekiwanej, która okaże się być tą graniczną wartością stałą zależną jedynie od rozkładu, który jest tutaj wspólny dla wszystkich sumowanych zmiennych losowych. Precyzyjne wysłowienie tego faktu będzie treścią twierdzenia zwanego Prawem Wielkich Liczb.
Definicja 0.5.1 Jeśli X jestzmienną losową przyjmującą wartości całkowite, o funkcji prawdopodobieństwa (p(i),i G Z), to wartością oczekiwaną zmiennej X (lub wartością oczekiwaną rozkładu p(i)) nazywamy liczbę oznaczaną EX, zadaną wzorem
EX = *P(*)
iez
o ile ta wartość istnieje.
Istnienie wartości oczekiwanej skomentujemy później.
Przykład 0.5.1 Rzut monetą. Niech X = 1, gdy wypadnie orzeł, 0, gdy wypadnie reszka. EX = g0 + ^ 1 = 5. Zauważmy, że wartość 1/2 nie jest przyjmowana przez X.
Przykład 0.5.2 Rzut kostką. EX = 3.5.
Przykład 0.5.3 Rozkład Poissona z parametrem A. EX = A.
Definicja 0.5.2 Jeśli zmienna X ma gęstość f , wtedy
EX = j xf(x)dx
o ile ta wartość istnieje.
Przykład 0.5.4 Rozkład jednostajny na [0,1]. EX — 1/2.
Przykład 0.5.5 Gęstość Erlanga rzędu n. EX = n/\.
Przykład 0.5.6 Rozkład Cauchyego.
x G R. Wartość oczekiwana nie istnieje. (Zmienna losowa o gęstości symetrycznej nie musi mieć wartości oczekiwanej 0)
Przypomnijmy, że |x| = [x]+ + [x]_ , gdzie [x]+ = max(o, x) oraz [x]_ = — min(0, x). Dla dowolnej funkcji g, fR g(x)dx istnieje i jest skończona wtedy i tylko wtedy, gdy fR[g(x)]+dx < 00 (jest skończona) i JR[g(x)]-dx < 00. Całka JRg(x)dx istnieje i jest nieskończona, gdy jR[g(x)\+dx = 00 i fR[g(x)]-dx < 00 (wtedy /g(x)dx = 00) lub gdy /fl[g(x)]+dx < 00 i /R[<7(x)]_dx = 00 (wtedy /g(x)dx = —00). W przypadku gdy /R[<?(x)]+dx = 00 i jR[g{xj\-dx = 00 całka fRg(x)dx nie istnieje.
18