TWIERDZENIE BAYESA I JEGO ZASTOSOWANIE
W wydanym 1763 roku opracowaniu angielski pastor Thomas Bayes udowodnił
twierdzenie, które w póz
niejszym okresie miało ogromny wpływ na rozwój zarówno teorii
prawdopodobieństwa, statystyki jak i powstania nowej filozofii nauki1. Pomimo tego faktu
Thomas Bayes aż do śmierci nie zdawał sobie sprawy z doniosłości swojego osiągnięcia 
dopiero po jego śmierci w 1963 roku jego praca została przedstawiona Królewskiemu
Towarzystwu Naukowemu (The Royal Society) i uznana za wybitne dzieło. Opracowane
przez Thomasa Bayesa i Pierra Simona de Laplaca oraz rozwinięte w drugiej połowie
dwudziestego wieku przez Harolda Jeffreyesa, Bruno de Finetti oraz Leonarda J. Savagea2
twierdzenie Bayesa oraz stworzone na jego bazie metody i narzędzia są obecnie powszechnie
stosowane w ekonomii, statystyce oraz ekonometrii a także w wielu innych gałęziach nauk
społecznych. Z tych właśnie powodów niezwykle ważnym zadaniem jest przybliżenie tego
zagadnienia.
By móc prawidłowo scharakteryzować twierdzenie Bayesa należy najpierw odnieść
się do kilku pierwotnych pojęć teorii prawdopodobieństwa oraz teorii mnogości. Pierwszym z
tych pojęć jest samo prawdopodobieństwo. Można je definiować w bardzo szeroki sposób na
przykład budując definicje przy pomocy aksjomatów zaproponowanych przez Andrieja
Kołmogorowa3 już w 1913 roku. Waśnie w oparciu o te aksjomaty zbudowana jest
następująca definicja.
Prawdopodobieństwem nazywamy funkcję P określoną na zbiorze Z i przyjmującą
wartości w przedziale [0,1]4:
P: Z Ä…ð [0,1],
taką że każdemu zdarzeniu A Ź Z przyporządkowuje liczbę P(A) zgodnie z warunkami:
1) P(A) e" 0.
2) P(E) = 1, gdzie E jest przestrzenią zdarzeń elementarnych.
3) Jeżeli A1,A2,& ,An,& jest dowolnym ciągiem parami rozłącznych zdarzeń ze zbioru Z,
to P (A1 U A2 U & U An U& ) = P(A1) + P(A2) + & + P(An) + & , co oznacza że
prawdopodobieństwo sumy przeliczalnej zdarzeń parami rozłącznych jest równe
sumie prawdopodobieństw tych zdarzeń.
1
A.D. Aczel, Statystyka w zarzÄ…dzaniu, PWN, Warszawa 2000, str. 99.
2
J. Osiewalski, Ekonometria Bayesowska w Zastosowaniach, Wydawnictwo Akademii Ekonomicznej w
Krakowie, Kraków 2001, str. 8.
3
A. Iwasiewicz, Z. Paszek, Statystyka z elementami statystycznych metod modelowania procesów,
Wydawnictwo Akademii Ekonomicznej w Krakowie, Kraków 2004, str. 12.
4
Statystyka ogólna, red. M. Woz
niak, Wydawnictwo Akademii Ekonomicznej w Krakowie, Kraków 2002, str.
106  107.
1
Przytoczona powyżej definicja jest bardzo rozbudowana i prezentuje ujecie, które
może okazać się być zbyt szczegółowym na potrzeby tego wywodu. Z tego względu w dalszej
części będą się pojawiać odwołania do prostszej definicja Amira D. Aczela, który stwierdza,
że prawdopodobieństwo jest to ilościowa miara niepewności  liczbowa miara przekonania,
że dane zdarzenie zajdzie5. By uściślić tą definicję należy dodatkowo wprowadzić jeszcze trzy
pojęcia: eksperyment, przestrzeń prób oraz zdarzenie6. Eksperyment lub inaczej
doświadczenie losowe jest to proces, który prowadzi do jednego z możliwych wyników.
Przestrzeń prób (zdarzeń elementarnych) jest to zbiór wszystkich możliwych wyników
eksperymentu i jest ona oznaczana przez X. Gdy przestrzeń prób lub inaczej przestrzeń
zdarzeń elementarnych jest skończona i wszystkie zdarzenia elementarne są jednakowo
prawdopodobne to taki eksperyment lub doświadczenie losowe nazywane jest
doświadczeniem Laplacea7. Zdarzeniem (oznaczanym przez A) jest pewien podzbiór
przestrzeni próby  można powiedzieć, że zaszło dane zdarzenie , jeżeli w wyniku
eksperymentu zaszło pewne zdarzenie elementarne należące do tego właśnie zbioru. Przy tak
zdefiniowanych pojęciach podstawowych prawdopodobieństwem zdarzenia A jest względna
miara A w stosunku do miary przestrzeni prób X. Można zapisać to w skróconej formie:
Prawdopodobieństwo w bardzo obrazowy sposób można przedstawić również za
pomocą tak zwanych diagramów Venna, jak zostało to zilustrowane na rysunku 1. Przestrzeń
prób X została oznaczona żółtym kolorem natomiast znajdujący się w jej środku zbiór
oznaczony przez literÄ™ A przedstawia zdarzenie. Stosunek powierzchni zdarzenia A do
powierzchni próby X jest właśnie miara prawdopodobieństwa zajścia zdarzenia A.
Rysunek 1. Prawdopodobieństwo zdarzenia A na diagramie Venna
y
ródło: opracowanie własne
5
A.D. Aczel, Statystyka w zarzÄ…dzaniu, PWN, Warszawa 2000, str. 67.
6
A.D. Aczel, Statystyka w zarzÄ…dzaniu, PWN, Warszawa 2000, str. 71.
7
K. M. Delventhal, A Kissner, M. Kulick, Matematyka, Horyzont, Warszawa 2002, str. 641.
2
By móc prawidłowo scharakteryzować twierdzenie Bayesa koniecznym jest
przeanalizowanie kilku wybranych właściwości prawdopodobieństwa. Jednak by tego
dokonać należy najpierw odwołać się do kilku prawidłowości teorii zbiorów, a dokładniej do
specyfiki i właściwości działań na zbiorach (w teorii prawdopodobieństwa w przestrzeni
zdarzeń elementarnych). Do najważniejszych z nich należą suma, iloczyn (przekrój),
rozłączność oraz dopełnienie zborów. Działania na zbiorach nieznacznie różnią się od
operacji na prawdopodobieństwie jednak mogą bardzo dobrze służyć jako punkt wyjścia dla
dalszych rozważań. Właściwości działań na zbiorach można bardzo łatwo zobrazować
posługując się diagramami Venna.
Pierwszym przypadkiem jest suma (zwana czasem też połęczeniem) dwóch zbiorów A
oraz B oznaczana przez A U B, co z definicji w formalnym zapisie oznacza oznacza, że {x: x Ź
A v x Ź B}8. Do sumy zbiorów A U B należą wszystkie elementy zbioru A oraz wszystkie
elementy zbioru B (a także elementy należące do obu tych zbiorów). Zostało to zobrazowane
przy pomocy diagramu Venna na rysunku 2  suma zbiorów A U B została oznaczona
kolorem różowym.
Rysunek 2. Suma zbiorów A oraz B na diagramie Venna
y
ródło: opracowanie własne
Iloczynem (lub inaczej przekrojem) dwóch zbiorów nazywamy zbiór tych wszystkich
elementów, które są równocześnie elementami zbioru A oraz zbioru B. Iloczyn zbiorów jest
oznaczany przez A )" B, co z definicji w formalnym zapisie oznacza, że {x: x Ź A Ś x Ź B}9.
Iloczyn zbiorów został zobrazowany przy pomocy diagramu Venna na rysunku 3  jest to
różowe pole będące wspólną częścią zbioru A oraz zbioru B, znajdujących się w przestrzeni
zdarzeń elementarnych X.
8
W. Krysicki, L. WÅ‚odarski, Analiza matematyczna w zadaniach, PWN, Warszawa 2005, str. 9.
9
A. Gryglaszewska, M. Kosiorowska, B. Paszek, Ćwiczenia z matematyki, Wydawnictwo Akademii
Ekonomicznej w Krakowie, Kraków 2003, str. 13,
3
Rysunek 3. Iloczyn zbiorów A i B na diagramie Venna
y
ródło: opracowanie własne
Kolejny ważnym dla teorii prawdopodobieństwa pojęciem jest rozłączność zbiorów
dwa zbiory sÄ… rozÅ‚Ä…czne gdy ich iloczyn jest zbiorem pustym lub w skrócie A )" B = Ø.
Innymi słowy można rzec, że dwa zbiory są rozłączne gdy nie posiadają one wspólnych
elementów. Dwa rozłączne zbiory zostały zaprezentowane przy pomocy diagramu Venna na
rysunku 4. W tym miejscu należy zaznaczyć, że przez  Ø rozumiemy zbiór pusty, czyli zbiór
nie zawierający żadnego elementu.
Rysunek 4. Dwa rozłączne zbiory A i B na diagramie Venna
y
ródło: opracowanie własne
Następnym niezwykle ważnym dla teorii prawdopodobieństwa pojęciem
zaczerpniętym z teorii mnogości jest dopełnienie zbioru. Dopełnieniem zbioru A jest zbiór
zawierający wszystkie elementy przestrzeni X (zwanej także zbiorem uniwersalnym), które
nie są elementami zbioru A. Dopełnienie zbioru A oznaczane jest przez AĄ w nieformalnym
zapisie też często jest oznaczany przez  nie A ) i definiowane z formalnego punktu widzenia
jako{x: Ź (x Ź A) Ś x Ź X}10. Dopełnienie zbioru zostało przedstawione przy pomocy diagramu
Venna na rysunku 5  różowym kolorem oznaczony jest zbiór A, natomiast wszystkie
10
W. Krysicki, L. WÅ‚odarski, Analiza matematyczna w zadaniach, PWN, Warszawa 2005, str. 9.
4
elementy przestrzeni, które nie należą do zbioru A oznaczono AĄ i są reprezentowane przez
kolor żółty.
Rysunek 5. Dopełnienie zbioru A na diagramie Venna
y
ródło: opracowanie własne
Kolejnym krokiem ku przybliżeniu twierdzenia Bayesa jest analiza działań na
prawdopodobieństwie oraz ich własności, które różnią się w pewnej części od działań na
zbiorach. Pomimo tego większość z nich wciąż może być ilustrowana za pomocą diagramów
Venna. Jak wynika z wcześniej przytoczonej definicji prawdopodobieństwo zajścia
dowolnego zdarzenia A mieści się w przedziale od zera do jednego [0,1]11. Z tego wynika, że
prawdopodobieństwo zdarzenia pewnego będzie wynosić jeden. To stwarza podstawy by
twierdzić, że miara opisywanej powyżej przestrzeń zdarzeń elementarnych będzie wynosić
jeden. Zgadza siÄ™ to z podstawowÄ… intuicjÄ…: np. wyrzucenie reszki rzetelnÄ… monetÄ… (takiej na
której prawdopodobieństwo uzyskania konkretnego wyniku jest identyczne jak przeciwnego)
to 0,5 jednak prawdopodobieństwo wyrzucenia orła lub reszki  zdarzenie pewne  wynosi 1.
Stąd też można twierdzić, że chcąc obliczyć prawdopodobieństwo nie zajścia jakiegoś
zdarzenia musimy odjąć jego wartość jego prawdopodobieństwa od 1  wartości dla zdarzenia
pewnego. W takiej sytuacji przydatnym może okazać się wzór na prawdopodobieństwo
dopełnienia (zwanego też zdarzeniem przeciwnym):
P(AÄ„) = 1  P(A).
Jako drugie przeanalizowane zostanie prawdopodobieństwo sumy. W przeciwieństwie
do sumowania zbiorów w przypadku prawdopodobieństwa bardzo ważnym jest zwrócenie
uwagi na powtarzające się zdarzenia elementarne. Zwróćmy uwagę, że tym razem sumując
prawdopodobieństwa musimy odjąć od wyniku powtarzające się zdarzenia elementarne tak by
11
Statystyka ogólna w zadaniach, red. M. Woz
niak, Wydawnictwo Akademii Ekonomicznej w Krakowie,
Kraków 2004, str. 121.
5
uniknąć nieuzasadnionego zwarzenia wyniku. W takiej sytuacji prawdopodobieństwem sumy
dwóch zdarzeń jest suma (połączenie) prawdopodobieństw dwóch zdarzeń pomniejszona o
iloczyn (przekrój) tych dwóch zdarzeń, co formalnie można zapisać jako:
P(A U B) = P(A) + P(B)  P(A )" B).
Można to także bardzo łatwo zaprezentować za pomocą diagramów Venna jak zostało to
zrobione na rysunku 7. Różowym kolorem została oznaczona suma prawdopodobieństw.
Jednak wspólna cześć dwóch zbiorów zdarzeń elementarnych A i B, jest wliczana dwa razy.
Z tego względu by uzyskać prawidłową miarę prawdopodobieństwa koniecznym jest odjęcie
prawdopodobieństwa iloczynu tych zdarzeń.
Rysunek 7. Prawdopodobieństwo sumy na diagramie Venna
y
ródło: opracowanie własne
Możliwym jest zastosowanie uproszczonej wersji wzoru na sumę prawdopodobieństw
w sytuacji gdy zbiory zdarzeń elementarnych są rozłączne  w przypadku
prawdopodobieństwa można powiedzieć zdarzenia się wzajemnie wykluczają.
Rysunek 8. Rozłączność zbiorów zdarzeń elementarnych A i B na diagramie Venna
y
ródło: opracowanie własne
Przypominając na diagramie Venna idee rozłączności zbiorów w teorii mnogości jak
jest to zaprezentowane na rysunku 8, należy stwierdzić, że część wspólną obu tych zbiorów
6
stanowi zbiór zero elementowy (pusty), co można zapisać A )" B = Ø. Zauważmy, że w
sytuacji, gdy A )" B = Ø to P(A )" B) = 0. Dlatego podstawiajÄ…c wartość iloczynu
prawdopodobieństw do wcześniej sformułowanego wzoru na sumę prawdopodobieństw
otrzymujemy nowy wzór na sumę prawdopodobieństw zdarzeń wzajemnie się
wykluczajÄ…cych:
P(A U B) = P(A) + P(B).
Wzór na prawdopodobieństwo sumy można oczywiście rozszerzać na dowolną ilość
zdarzeń (zbiorów zdarzeń elementarnych). Przykładowo dla trzech zdarzeń A, B oraz C wzór
na prawdopodobieństwo sumy wyglądałby następująco:
P(A U B U C) = P(A) + P(B) P(C)  P(A )" B)  P(A )" C)  P(B )" C).
Kolejnym etapem wywodu jest prezentacja odkryci przez angielskiego matematyka
Augusta de Morgana związków między sumą a iloczynem dwóch zbiorów12. W tym miejscu
szczególna uwaga musi zostać położona na jeden z tych związków, który ma szczególne
znaczenie dla teorii prawdopodobieństwa. Ten szczególnie ważny związek mówi, że
dopełnienie sumy zbiorów z danej rodziny jest identyczne jak iloczyn dopełnień zbiorów z tej
samej rodziny. Formalnie można zapisać to jako:
(A U B)Ä„ = AÄ„ )" BÄ„
Zależność tą można przedstawić także przy zastosowaniu diagramów Venna jak
zostało to zrobione na rysunku 9.
Rysunek 9. Dopełnienie sumy zbiorów jako iloczyn dopełnień zbiorów na diagramie Venna
y
ródło: opracowanie własne
12
A.D. Aczel, Statystyka w zarzÄ…dzaniu, PWN, Warszawa 2000, str. 83.
7
Na rysunku 9 przedstawiono czerwonym i pomarańczowym kolorem zbiór AĄ
natomiast żółtym i pomarańczowym kolorem zbiór BĄ. Sam kolor pomarańczowy reprezentuje
zbiór AĄ)" BĄ czyli zbiór wszystkich punktów elementów które nie należą do A U B.
Drugie prawo de morgana mówi, iż iloczyn dopełnienia zbiorów z pewnej rodziny jest
sumą dopełnień zbiorów z tej właśnie rodziny. W formalny sposób można to zapisać jako:
(A )" B) Ä„= AÄ„ U BÄ„
Przy pomocy diagramów Venna można zilustrować drugie prawo de Morgana, co
zostało dokonane na rysunku 10.
Rysunek 10. Dopełnienie iloczynu zbiorów jako suma dopełnień zbiorów na diagramie Venna
y
ródło: opracowanie własne
Na rysunku błękitnym kolorem zaznaczono zbiór (A )" B) Ą, czyli wszystkie te punkty
(elementy), które nie należą do zbioru A )" B. Drugie prawo de morgana nie ma dla dalszych
rozważań i teorii prawdopodobieństwa w ogóle takiego znaczenie jak pierwsze prawo de
Morgana i ze względu na to nie będzie do niego odwołań w dalszej części wywodu.
Kolejnym krokiem analizy jest przedstawienie prawdopodobieństwa warunkowego.
Jak sama nazwa wskazuje prawdopodobieństwo warunkowe informuje nas o tym z jaką
pewnością zajdzie pewne zdarzenie (np. A) w sytuacji gdy/pod warunkiem, że zajdzie jakieś
inne zdarzenie (np. B). Zgodnie z definicją prawdopodobieństwo warunkowe zdarzenia pod
warunkiem B, gdzie P(B) > 0, określamy następująco13:
13
M. Krzyśko, Wykłady z teorii prawdopodobieństwa, Wydawnictwa Naukowo-Techniczne, Warszawa 2000,
str. 81.
8
Podobnie zakładając, że P(A) > 0 mamy:
Przekształcając wyżej przedstawione wzory można dojść do wniosku, że:
P( ) = P(B)*P(A\B) =P(A)*P(B\A).
Powyższy wzór można oczywiście uogólnić na większą liczbę zdarzeń:
P(A1 )" A2 )" & )" An) = P(A1)*P(A2\A1)*& .*P(An\A1 )" A2 )" & )" An-1).
Prawdopodobieństwo warunkowe można zilustrować bardzo prostym przykładem.
Załóżmy, że rzucamy kostką i chcemy wyrzucić 6 oczek. Jak wiadomo P(6) przy rzucie
kostką wynosi 1/6. Teraz załóżmy, że rzuciliśmy kostką jednak nie widzimy wyniku, siedzącą
nieopodal nas osoba mówi nam jednak, że wyrzucono liczbę parzystą. Jakie jest
prawdopodobieństwo tego, że wyrzucono właśnie 6 oczek. W tej sytuacji dochodzi do tzw.
redukcji przestrzeni prób14 przez zdarzenie B, ponieważ teraz możliwy jest jeden z trzech
parzystych wyników. Posługując się wzorem na prawdopodobieństwo warunkowe możemy
obliczyć, że:
W tej sytuacji można powiedzieć, iż prawdopodobieństwo wyrzucenie sześciu oczek pod
warunkiem, że wypadła liczba parzysta wynosi 1/3.
Kolejnym ważnym zagadnieniem jest niezależność zdarzeń. Dwa zdarzenia A i B
nazywamy niezależnymi od siebie wtedy i tylko wtedy gdy spełnione są trzy poniższe
równoważne warunki15:
P(A\B) = P(A)
P(B\A) = P(B)
P(A )" B) = P(A)*P(B)
Pojęcie niezależności zdarzeń można bardzo łatwo zilustrować prostym przykładem.
Załóżmy, iż prawdopodobieństwo, że do konsumenta dotrze reklama telewizyjna wynosi
14
A.D. Aczel, Statystyka w zarzÄ…dzaniu, PWN, Warszawa 2000, str. 85.
15
A.D. Aczel, Statystyka w zarzÄ…dzaniu, PWN, Warszawa 2000, str. 90.
9
0,04, natomiast, że zauważy on plakat reklamowy na ulicy wynosi 0,06. Zakładamy, że oba te
zdarzenia są niezależne. Teraz musimy znalez
ć odpowiedzi na dwa pytania:
1. Jakie jest prawdopodobieństwo, że do konsumenta dotrą obie formy reklamy?
Ponieważ oba zdarzenia są niezależne w obliczaniu ich iloczynu można posłużyć się
następującym wzorem: P(A )" B) = P(A)*P(B) = 0,04*0,06 = 0,0024
2. Jakie jest prawdopodobieństwo, że do konsumenta trafi przynajmniej jedna forma
reklamy?
Dotarcie z reklamÄ… do co najmniej jednego konsumenta jest z definicji sumÄ…
prawdopodobieństw. W tej sytuacji można posłużyć się wzorem na sumę
prawdopodobieństw: P(A U B) = P(A) + P(B)  P(A )" B) = 0,04 + 0,06  0,0024 = 0,0976.
Znając zaprezentowane powyżej właściwości możliwym jest sformułowanie
pierwszego prawa de Morgana dla zdarzeń niezależnych, które wyglądałoby następująco:
P(A1 U A2 U & U An) =1 - P(A1Ą )" A2 Ą)" & )" AnĄ) = 1  P(A1Ą)*P(A2Ą)*& *P(AnĄ).
Zanim ostatecznie przejdziemy do samego twierdzenia Bayesa, koniecznym jest
rozpatrzenie koncepcji prawdopodobieństwa całkowitego (zupełnego). Podstawowe
twierdzenie dotyczące prawdopodobieństwa całkowitego mówi, że:
P(A) = P(A )" B) + P(A )" BÄ„)
Zgodnie z tym twierdzeniem prawdopodobieństwo zdarzenia a jest równe sumie
algebraicznej iloczynu prawdopodobieństw zdarzeń A i B oraz iloczynu zdarzeń A i
dopełniania B. Zostało to zobrazowany przy pomocy diagramu Venna na rysunku 11.
Rysunek 11. Podział zbioru A na iloczyny ze zbiorami B oraz BĄ tworzącymi przestrzeń próby na
diagramie Venna
y
ródło: opracowanie własne
10
Zbiory B oraz BĄ tworzą przestrzeń próby, co oznacza że tworzą one podział
przestrzeni na dwa rozłączne i pokrywające ją całą zbiory. W każdym przypadku musi zajść
zdarzenie B lub dopełnienie B. Twierdzenie o prawdopodobieństwie całkowitym można
uogólnić na bardziej skomplikowane sytuacje, gdzie przestrzeń próby jest podzielona na
więcej niż tylko dwa podzbiory lub tak zwane człony podziału.16 Gdy przestrzeń zostanie
podzielona na n podzbiorów B1, B2, & Bn, to twierdzenie o prawdopodobieństwie
całkowitym będzie można zapisać przy pomocy równania:
Podobnie jak w przypadku podstawowego twierdzenia o prawdopodobieństwie
całkowitym, powyższe równanie można łatwo zobrazować wykorzystując diagram Venna ,
jak zostało to przedstawione na rysunku 12.
Rysunek 12. Podział zbioru A na iloczyny ze zbiorami tworzącymi przestrzeń próby na diagramie Venna
y
ródło: opracowanie własne
Zastosowanie prawdopodobieństwa całkowitego można zaprezentować w bardzo
prosty posługując się przykładem z kartami zilustrowanym na rysunku 13. Załóżmy, że przez
zdarzenie A rozumiemy wyciągnięcie figury  Asa (A), Króla, (K), Damy (D) lub Waleta
(W). Natomiast poprzez zdarzenie H (Hearts) oznaczone będzie wyciągnięcie kiera i
odpowiednio: D (Dimonds)  karo, C (Clubs)  trefla oraz S (Spades) pika.
Prawdopodobieństwo wylosowania figury jakiegokolwiek koloru wynosi:
16
A.D. Aczel, Statystyka w zarzÄ…dzaniu, PWN, Warszawa 2000, str. 100.
11
P(A) = P(A )" H) + P(A )" D) + P(A )" C) + P(A )" S) =
= 4/52 + 4/52 + 4/52 + 4/52 = 16/52 = 4/13.
Wynik ten jest zgodny z intuicją, gdyż w tali są 52 karty a wśród nich 16 to figury. Na
rysunku 13 kolejno zielonym, żółtym, czerwonym i błękitnym kolorem zaznaczono iloczyny
wylosowania figury i karty poszczególnego koloru. Suma tych wszystkich zaznaczonych pól
daje wynik, którym jest prawdopodobieństwo całkowite.
Rysunek 13. Całkowite prawdopodobieństwo w przykładowym zadaniu z kartami
e& f& c& `&
Kier Karo Trefl Pik
H D C S
A A A A
A )" H
A )" S
K
K K K
D D D D
A )" D W W W W A )" D
10 10 10 10
9 9 9 9
8 8 8 8
7 7 7 7
6 6 6 6
5 5 5 5
4 4 4 4
3 3 3 3
2 2 2 2
1 1 1 1
y
ródło: A.D. Aczel, Statystyka w zarządzaniu, PWN, Warszawa 2000, str. 101
Twierdzenie o prawdopodobieństwie całkowitym można sformułować także za
pomocą prawdopodobieństw warunkowych. W wersji dla dwuczłonowego podziału
przestrzeni prób (zbioru B) równanie opisujące prawdopodobieństwo wystąpienia zdarzenia A
ma następującą postać:
P(A) = P(A\B)*P(B) + P(A\BÄ„)*P(BÄ„).
12
Natomiast w uogólnionym przypadku dla n  członowego podziału zbioru B
(przestrzeni prób) na podzbiory zbiory B1, B2, & , Bn równanie na prawdopodobieństwo
całkowite przyjmuje postać17:
Równanie na prawdopodobieństwo całkowite sformułowane za pomocą
prawdopodobieństw warunkowych można łatwo zobrazować przykładem18. Załóżmy, iż
pewien analityk giełdowy jest przekonany o tym, że istnieje prawdopodobieństwo równe 0,7
że wzrosną ceny akcji jeżeli gospodarka będzie przechodzić pomyślna koniunkturę oraz 0,3,
że spadną ceny akcji gdy gospodarka będzie w stanie stagnacji. Ten sam analityk giełdowy
przypisuje prawdopodobieństwo równe 0,8, że przyszły rok będzie rokiem dobrej
koniunktury. Jakie w takim wypadku powinno być wedle oceny tego analityka
prawdopodobieństwo, że w przyszłym roku ceny akcji będą rosnąć?
By rozwiązać to zadanie oznaczmy zdarzenie, iż ceny akcji pójdą w górę przez A oraz
przez B, ze przyszły rok będzie rokiem pomyślnej koniunktury. Przy tak sformułowanych
założeniach korzystając z równania o prawdopodobieństwie warunkowym dla
dwuczłonowego podziału próby otrzymujemy rozwiązanie:
P(A) = P(A\B)*P(B) + P(A\BÄ„)*P(BÄ„) = 0,7*0,8 + 0,3*0,2 = 0,56 + 0,06 = 0,62
Korzystając, ze wzoru na prawdopodobieństwo całkowite jesteśmy w stanie określić, że
analityk giełdowy sądzi, iż ceny akcji wzrosną z prawdopodobieństwem równym 0,62.
Wykorzystując opisane powyżej definicje i właściwości prawdopodobieństwa
warunkowego oraz prawdopodobieństwa całkowitego jesteśmy w stanie wyprowadzić
twierdzenie Bayesa. Zauważmy najpierw, że z równań określających prawdopodobieństwo
warunkowe wynika, iż:
17
M. Krzyśko, Wykłady z teorii prawdopodobieństwa, Wydawnictwa Naukowo-Techniczne, Warszawa 2000,
str. 82.
18
A.D. Aczel, Statystyka w zarzÄ…dzaniu, PWN, Warszawa 2000, str. 102.
13
 a także na mocy równoważnej postaci definicji prawdopodobieństwa warunkowego:
P( ) = P(B)*P(A\B) oraz P( ) = P(A)*P(B\A).
Podstawiając do mianownika drugiego równania prawą stronę trzeciego równania
otrzymujemy:
ostatecznie korzystając z twierdzenie o prawdopodobieństwie całkowitym (zupełnym) i
podstawiając je do mianownika powyższego równania otrzymujemy uproszczoną wersję
twierdzenia Bayesa:
Ä„ Ä„
Istnieje oczywiście także uogólniona wersja definicji twierdzenia Bayesa. Jeżeli zdarzenia B1,
B2, sÄ… zdarzeniami wykluczajÄ…cymi siÄ™, przy czym P(Bn) > 0 dla n = 1,2,& oraz B1 U B2 U &
= X, to dla A, dla którego P(A) > 0 zachodzi wzór19:
Opisując twierdzenie Bayesa nie sposób nie zwrócić uwagi na fakt, iż na
prawdopodobieństwo można patrzeć, co najmniej na dwa sposoby20. Zaprezentowane w
uproszczonej wersji twierdzenia Bayesa prawdopodobieństwa P(B) oraz P(BĄ) nazywane są
prawdopodobieństwami apriorycznymi lub po prostu a priori. Natomiast
prawdopodobieństwo P(B\A) nazywa się prawdopodobieństwem aposteriorycznym lub a
posteriori. Kryterium podziału w przypadku jest moment otrzymania informacji. Jeżeli
przeprowadzając badania jesteśmy w stanie uzyskać jakieś dane dotyczące
19
M. Krzyśko, Wykłady z teorii prawdopodobieństwa, Wydawnictwa Naukowo-Techniczne, Warszawa 2000,
str. 83.
20
A. Solek, Optymalne decyzje. Ekonomia menadżerska w zadaniach, Wydawnictwo Uniwersytetu
Ekonomicznego w Krakowie, Kraków 2008, str. 95.
14
prawdopodobieństw wystąpienia poszczególnych zdarzeń to mówimy o
prawdopodobieństwach apriorycznych. Wnioskując na podstawie tych danych jesteśmy w
stanie otrzymać aposterioryczne prawdopodobieństwo zajścia jakiegoś zdarzenia pod
warunkiem wystąpienia innego zdarzenia. Różnice między prawdopodobieństwami a priori a i
aposteriori zobrazowano za pomocÄ… prostego schematu na rysunku 14.
Rysunek 14. Schemat wnioskowania bayesowskiego
y
ródło: A. Solek, Optymalne decyzje. Ekonomia menadżerska w zadaniach, Wydawnictwo Uniwersytetu
Ekonomicznego w Krakowie, Kraków 2008, str. 95.
Szerokie zastosowanie, jakie ma twierdzenie Bayesa zostanie pokrótce
zaprezentowane poniżej przy okazji rozwiązani kilku przykładowych problemów21. W
pierwszej kolejności rozpatrzmy przypadek wykorzystanie uproszczonego twierdzenia
Bayesa.
Rozpatrywany jest test na wykrycie pewnej choroby, o którym wiadomo, że :
1. Zastosowany do osoby chorej wykrywa chorobę z prawdopodobieństwem
0,92,
2. Zastosowany do osoby zdrowej określa ją błędnie jako chorą z
prawdopodobieństwem 0,04.
Załóżmy, że rozpatrywana choroba zdarza się rzadko i zapada na nią tylko 1% ludności.
Jeżeli wybieramy losowo jedną osobę i poddajemy ją testowi, który dał wynik pozytywny,
jakie jest prawdopodobieństwo aposterioryczne (po przeprowadzeniu testu), że zbadana osoba
jest chora.
RozwiÄ…zujÄ…c zadanie wprowadz
my najpierw pewne oznaczenia. Niech Z oznacza
zdarzenie pozytywny wynik testu, natomiast I oznacza zdarzenie , że osoba poddana testowi
jest chora (adekwatnie do powyższych oznaczeń ZĄ  negatywny wynik testu oraz IĄ  osoba
poddana testowi jest zdrowa) . Zgodnie z tymi informacjami możemy wymienić następujące
prawdopodobieństwa:
21
Przykładowe zadania zostały zapożyczone z A.D. Aczel, Statystyka w zarządzaniu, PWN, Warszawa 2000
15
a) P(I) = 0,01
b) P(IÄ„) = 0,99
c) P(Z\I) = 0,92
d) P(Z\IÄ„) = 0,04
W zadaniu należy znalez
ć prawdopodobieństwo, że dana osoba jest chora przy
założeniu, iż test dał pozytywny wynik, tak więc szukamy P(I/Z). Znając powyższe dane i
podstawiajÄ…c je do twierdzenia Bayesa otrzymujemy:
Ä„ Ä„
Posługując się twierdzeniem Bayesa dochodzimy do wniosku, że
prawdopodobieństwo tego, iż dana osoba jest chora w sytuacji gdy test dał pozytywny wynik
wynosi w przybliżeniu 0,0189 czyli niecałe dwa procent. Może się to wydawać zaskakujące
szczególnie biorąc pod uwagę wysokie charakterystyki jakości testu omówione w treści
zadania. Tak niski wynik jest efektem wykorzystania przy stosowaniu twierdzenia Bayesa
dwóch z
ródeł informacji  zakładając, że dane są prawdziwe otrzymany wynik jest
prawidłowy.
By jeszcze bardziej zgłębić możliwość wykorzystania twierdzenia Bayesa można
zaprezentować zadanie , do którego rozwiązania konieczne jest wykorzystanie uogólnionej
wersji twierdzenia Bayesa.
Pewien ekonomista jest przekonany, że w okresie szybkiego wzrostu ekonomicznego
w Polsce złotówka umocni się (zyska na wartości) w stosunku do innych walut z
prawdopodobieństwem 0,70, w okresie umiarkowanego wzrostu umocni się z
prawdopodobieństwem 0,40, a w okresie słabego wzrostu z prawdopodobieństwem 0,20. W
danym okresie prawdopodobieństwo szybkiego wzrostu ekonomicznego w Polsce wynosi
0,30, prawdopodobieństwo umiarkowanego wzrostu gospodarczego 0,50, a
prawdopodobieństwo wolnego wzrostu wynosi 0,20. Zakładając, że złotówka aprecjonuje
(zyskuje na wartości w stosunku do pozostałych walut)  jakie jest prawdopodobieństwo, że
gospodarka znajduje siÄ™ w fazie szybkiego wzrostu gospodarczego?
16
Podobnie jak w poprzednim przykładzie należy rozpocząć od wprowadzenia oznaczeń
dla możliwych stanów gospodarki:
a) H  (High)  szybki wzrost gospodarczy
b) M  (Medium)  średni wzrost gospodarczy
c) L  (Low)  niski/wolny wzrost gospodarczy
Wiemy także że prawdopodobieństwa a priori tych zdarzeń wynoszą odpowiednio:
P(H) = 0,30, P(M) = 0,50 oraz P(L) = 0,20. Niech teraz A oznacza zdarzenie  złotówka
zyskuje na wartości w stosunku do pozostałych walut. Z treści zadania możemy odczytać
także następujące wartości prawdopodobieństw warunkowych: P(A\H) = 0,70, P(A\M) = 0,40
oraz P(A\L) = 0,20. Stosując uogólniony wzór Bayesa dla n = 3 otrzymujemy:
Posługując się twierdzeniem Bayesa dochodzimy do wniosku, że jeżeli posiadane
przez ekonomistÄ™ informacje sÄ… prawdziwe, to w sytuacji gdy aprecjonuje (umacnia siÄ™ w
stosunku do innych walut) kurs złotówki, to z prawdopodobieństwem w przybliżeniu równym
0,467 możemy stwierdzić, że gospodarka jest w fazie szybkiego wzrostu. To jak i wszystkie
inne prawdopodobieństwa aposterioryczne można bardzo łatwo i szybko obliczyć posługując
się tabelką taką jak przedstawiona poniżej tabela 1.
Tabela 1. Bayesowska analiza prawdopodobieństwa dla przykładowego zadania
PRAWDOPODOBIEC
STWO
Zdarzenie
aprioryczne warunkowe Å‚Ä…czne aposterioryczne
P(A )" H) = P(H\A) = 0,21/0,45 =
H P(H) = 0,30 P(A\H) = 0,70
0,21 0,467
P(A )" M) = P(M\A) = 0,20/0,45 =
M P(M) = 0,50 P(A\M) = 0,40
0,20 0,444
P(A )" L) =
L P(L) = 0,20 P(A\L) = 0,20 P(L\A) = 0,04/0,45 = 0,089
0,04
Suma 1,00 XXXXXXXXXX P(A) = 0,45 1,000
y
ródło: A.D. Aczel, Statystyka w zarządzaniu, PWN, Warszawa 2000, str. 105
17
W drugiej kolumnie tabeli 1 zapisano prawdopodobieństwa aprioryczne zdarzeń H, M oraz L.
W trzeciej kolumnie zapisano prawdopodobieństwa warunkowe P(A\H), P(A\M) oraz P(A\L).
Mnożąc przez siebie odpowiednie wiersze drugiej i trzeciej kolumny otrzymano w czwartej
kolumnie prawdopodobieństwa łączne  iloczyny prawdopodobieństw. Jest to dozwolony
zabieg ze względu na przywoływany powyżej wzór na prawdopodobieństwie warunkowe i
jego przekształcenia. Otrzymane w piątej kolumnie prawdopodobieństwa aposterioryczne
otrzymano dzieląc prawdopodobieństwa warunkowe przez sumę prawdopodobieństw
łącznych (czwarta kolumna)  prawdopodobieństwo całkowite. Jest to dosyć prosta metoda
dzięki, której można w krótkim czasie uzyskać wszystkie prawdopodobieństwa
aposterioryczne.
Kolejną metodą liczenia prawdopodobieństw, która może być pomocna przy
korzystaniu z twierdzenia Bayesa jest drzewko decyzyjne22 zaprezentowane na rysunku 15.
Rysunek 15. Wykres drzewo decyzyjne dla przykładowego zadania
y
ródło: A.D. Aczel, Statystyka w zarządzaniu, PWN, Warszawa 2000, str. 105
22
G. Koller, Risk Assessment and Decision Making in Business and Industry, Chapman & Hall/CRC, Boca
Raton 2005, str. 274-275.
18
Na drzewku decyzyjnym, które jest bardzo powszechnie stosowane w ekonomii do
analizy podejmowanych działań oraz ich skutków w warunkach niepełności i ryzyka23 można
przedstawić obliczenia jakie były dokonywane w Tabeli 1. Śledząc kolejne gałęzie drzewka
możemy dojść do konkretnego prawdopodobieństwa warunkowego danego zdarzenia.
Posługiwanie się drzewkami może być bardzo pomocne w obrazowej prezentacji rozkładu
prawdopodobieństwa poszczególnych zdarzeń.
Podsumowując przedstawione przykłady, zastosowanie twierdzenia Bayesa pozwala
na wyciąganie bardzo rozbudowanych wniosków, w sytuacji gdy dysponujemy jedynie
cząstkowymi danymi. Z tego względu jest ono bardzo przydatne w badaniach i szacowaniu
aposteriorycznych prawdopodobieństw wybranych zdarzeń.
23
W. Samuelson, S. Marks, Ekonomia menadżerska, Polskie Wydawnictwo Ekonomiczne, Warszawa 2009, str.
328.
19
Bibliografia
1) Aczel A.D., Statystyka w zarzÄ…dzaniu, PWN, Warszawa 2000
2) Delventhal K. M., Kissner A., Kulick M., Matematyka, Horyzont, Warszawa 2002
3) Gryglaszewska A., Kosiorowska M., Paszek B., Ćwiczenia z matematyki, Wydawnictwo
Akademii Ekonomicznej w Krakowie, Kraków 2003
4) Iwasiewicz A., Paszek Z., Statystyka z elementami statystycznych metod modelowania
procesów, Wydawnictwo Akademii Ekonomicznej w Krakowie, Kraków 2004
5) Koller G., Risk Assessment and Decision Making in Business and Industry, Chapman &
Hall/CRC, Boca Raton 2005
6) Krysicki W., WÅ‚odarski L., Analiza matematyczna w zadaniach, PWN, Warszawa 2005
7) Krzyśko M., Wykłady z teorii prawdopodobieństwa, Wydawnictwa Naukowo-Techniczne,
Warszawa 2000
8) Osiewalski J., Ekonometria Bayesowska w Zastosowaniach, Wydawnictwo Akademii
Ekonomicznej w Krakowie, Kraków 2001
9) Samuelson W., Marks S., Ekonomia menadżerska, Polskie Wydawnictwo Ekonomiczne,
Warszawa 2009, str. 328
10) Solek A., Optymalne decyzje. Ekonomia menadżerska w zadaniach, Wydawnictwo
Uniwersytetu Ekonomicznego w Krakowie, Kraków 2008
11) Woz
niak M. red., Statystyka ogólna, Wydawnictwo Akademii Ekonomicznej w Krakowie,
Kraków 2002
12) Woz
niak M. red., Statystyka ogólna w zadaniach, Wydawnictwo Akademii Ekonomicznej w
Krakowie, Kraków 2004
20