Sieci Bayesa
Jacek Kluska
Politechnika Rzeszowska
2011
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 1 / 25
Prawdopodobieństwa łączne, a posteriori i reguła Bayesa
Załóżmy, że zmienne losowe A i B przyjmują wartości dyskretne:
A " {a1, . . . , an}, B " {b1, . . . , bm}. Definiujemy tablicÄ™
prawdopodobieństwa łącznego (Joint Probability Distribution)
P (A = ai, B = bj) jako macierz {P (ai, bj)}n×m.
Example
Założenie: A " {a1, a2, a3}, B " {b1, b2}.
JPD b1 b2
"
a1 P (a1, b1) P (a1, b2) P (a1)
{P (ai, bj)} = a2 P (a2, b1) P (a2, b2) P (a2)
a3 P (a3, b1) P (a3, b2) P (a3)
P (b1) P (b2) 1
"
P (ai, bj) = P (bj) , P (ai, bj) = P (ai) , P (ai, bj) = 1
" " "
i j i,j
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 2 / 25
JPD umożliwia obliczenie prawdopodobieństwa
warunkowego
P (ai, bj)
P (bj |ai) =
P (ai)
Np.
P (a3, b2) P (a3, b2)
P (b2|a3) = =
P (a3) P (a3, b1) + P (a3, b2)
Przypuśćmy, że wystąpi A a potem B. Tablica prawdopodobieństwa
warunkowego, że wystąpi bj pod warunkiem wystąpienia ai (Conditional
Probability Table). Np. dla A " {a1, a2, a3}, B " {b1, b2}:
CPT b1 b2
"
a1 P (b1|a1) P (b2|a1) 1
a2 P (b1|a2) P (b2|a2) 1
a3 P (b1|a3) P (b2|a3) 1
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 3 / 25
Przykład obliczenia JPD
Założenia: A " {a1, a2, a3}, B " {b1, b2}, po zdarzeniu A może wystąpić
B, znamy P (A), znamy CPT tzn. P (B|A).
Należy wyznaczyć P (B) i JPD:
îÅ‚ Å‚Å‚
P (b1|a1) P (b2|a1)
ðÅ‚ ûÅ‚
[P (b1) , P (b2)] = [P (a1) , P (a2) , P (a3)] P (b1|a2) P (b2|a2)
P (b1|a3) P (b2|a3)
îÅ‚ Å‚Å‚ îÅ‚ Å‚Å‚
P (a1) 0 0 P (b1|a1) P (b2|a1)
ðÅ‚ ûÅ‚ ðÅ‚ ûÅ‚
{P (ai, bj)} = 0 P (a2) 0 P (b1|a2) P (b2|a2)
0 0 P (a3) P (b1|a3) P (b2|a3)
îÅ‚ Å‚Å‚
P (b1|a1) P (a1) P (b2|a1) P (a1)
ðÅ‚ ûÅ‚
= P (b1|a2) P (a2) P (b2|a2) P (a2)
P (b1|a3) P (a3) P (b2|a3) P (a3)
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 4 / 25
Przykład zastosowania reguły Bayesa do wnioskowania
Podstawa wnioskowania probabilistycznego:
P (B)
P (B|A) = P (A|B)
P (A)
Przykład. U pacjenta przeprowadzono test na obecność wirusa. Test
wypadł pozytywnie. Czy pacjenta należy koniecznie hospitalizować i
rozpocząć leczenie?
Testy nigdy nie są całkowicie niezawodne. Dobry test zapewnia wysokie
prawdopodobieństwo:
wyniku pozytywnego (potwierdzającego obecność wirusa W), o ile
wirus W jest rzeczywiście obecny: P (T|W ),
wyniku negatywnego  w przypadku braku wirusa: P T|W .
Lekarza i pacjenta najbardziej interesujÄ… szanse:
P (W |T) albo P W |T .
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 5 / 25
Przykład zastosowania reguły Bayesa do wnioskowania -
c.d.
Aby na podstawie przeprowadzonego testu wnioskować o
prawdopodobieństwie zainfekowania wirusem, konieczne jest skorzystanie z
reguły Bayesa.
Założenia wynikające z danych historycznych:
1
Wirus występuje przeciętnie u 20 ludzi na 100 000:
P (W ) = p = 0.0002
2
Jeżeli wirus rzeczywiście występuje, to test daje wynik pozytywny w
90 przypadkach na 100: P (T|W ) = a = 0.90.
3
Jeżeli wirus nie występuje, to test daje wynik negatywny w 75
przypadkach na 100: P T|W = b = 0.75.
Rozważmy pacjenta, dla którego test dał wynik pozytywny. Jakie jest
prawdopodobieństwo, że pacjent został zainfekowany wirusem:
P (W |T) = ?
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 6 / 25
Przykład zastosowania reguły Bayesa do wnioskowania -
c.d.
P (W )
P (W |T) = P (T|W )
P (T)
P (W )
= P (T|W )
P (T|W ) P (W ) + P T|W P W
ap
=
ap + (1 - b) (1 - p)
= 0.00071963
Czy w przypadku P (W |T) < 0.1% warto podejmować terapię (być może
nieobojętną dla zdrowia) ?
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 7 / 25
Przykład zastosowania reguły Bayesa do wnioskowania -
c.d.
Co się zmieni, gdy będą wykonywane 2 niezależne od siebie testy? Wyniki
testów zależą tylko od występowania wirusa. Zkładamy, że znane są:
P (W ) = p = 0.0001, P (T 1|W ) = a1 = 0.95, P (T2|W ) = a2 = 0.95,
P T1|W = b1 = 0.90, P T2|W = b2 = 0.90.
P (W )
P (W |T1 '" T2) = P (T1 '" T2|W )
P (T1 '" T2)
P (W )
= P (T1|W ) P (T2|W )
P (T1) P (T2)
p " a1a2
=
(a1p + (1 - b1) (1 - p)) (a2p + (1 - b2) (1 - p))
gdzie
P (Ti) = P (Ti|W ) P (W ) + P Ti|W P W
= P (Ti|W ) P (W ) + 1 - P Ti|W (1 - P (W ))
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 8 / 25
Przykład zastosowania reguły Bayesa do wnioskowania -
c.d.
Ile razy wzrosło prawdopodobieństwo poprzez wykonanie dwóch testów
zamiast jednego ?
P (W ) P (T1|W ) P (T2|W )
P (W |T1 '" T2) P (T1) P (T2)
=
P (W |T1) P (W ) P (T1|W )
P (T1)
P (T2|W )
=
P (T2)
a2
=
a2p + (1 - b2) (1 - p)
= 9.4919
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 9 / 25
Sieć Bayesa (Bayes network, sieć przekonań, belief
network)
Graf skierowany bez cykli, którego wierzchołkami są zmienne losowe.
A
uk XY ma intuicyjne znaczenie:  zmienna X ma bezpośredni
wpływ na Y .
Każdy wierzchołek X ma związaną z nim tablicę
prawdopodobieństw warunkowych (CPT  Conditional
Probability Table) określających wpływ wywierany na X przez jego
poprzedników w grafie (rodziców).
Musimy określić prawdopodobieństwa warunkowe dla każdej wartości
zmiennej losowej X dla wszystkich kombinacji wartości zmiennych
losowych, od których zależy X.
Dla zmiennych, które nie zależą od niczego, musimy określić
prawdopodobieństwa a priori.
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 10 / 25
Oszacowanie liczby prawdopodobieństw w sieci Bayesa
Na podstawie łącznego rozkładu prawdopodobieństwa (JPD, Joint
Probability Distribution) można wyznaczyć praktycznie wszystko.
Gdyby sieć Bayesa miała N = 20 wierzchołków, to tablica JPD
miałaby 2N = 220 = 1 048 576 elementów. Załóżmy, że każdy
wierzchołek w sieci zależy od K = 6 zmiennych binarnych. Liczba
prawdopodobieństw warunkowych w CPT w jednym wierzchołku
wynosi 2K = 26 = 64, a we wszystkich N wierzchołkach:
N " 2K = 20 " 26 = 1 280.
Dzięki sieci Bayesa możemy uzyskać dużą oszczędność, która jest
możliwa tylko wtedy, gdy zmienne bezpośrednio zależą tylko od
pewnej (małej) liczby innych zmiennych. Gdyby zmienne w sieci
zależały od wszystkich innych zmiennych, to reprezentacja tych
zależności w postaci sieci Bayesa miałaby niewielki sens.
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 11 / 25
Przykład: Sieć Bayesa budowana na podstawie statystyk
dla pewnej kliniki płuc
Lauritzen S.L., Spiegelhalter D. J. (1988), Local computations with
probabilities on graphical structures and their application to expert
systems, Journal of the Royal Statistical Society, Series B
(Methodological), 50(2), 157-224:
50% pacjentów tej kliniki to palacze,
1% choruje na gruz
licÄ™,
5.5% ma raka płuc,
45% ma jakąś formę z łagodnego lub przewlekłego zapalenia oskrzeli,
Duszności wykryte są średnio u 10% ludzi - większość z powodu
astmy i powodów innych, niż gruz
lica, rak płuc lub zapalenie oskrzeli.
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 12 / 25
Przykład: Sieć Bayesa - klinika gruz
licy i chorób płuc
Założenia ogólne - 3 typy danych:
1
Czynniki mające wpływ na powstawanie chorób płuc
{odwiedzenie Azji, palenie papierosów},
2
Rodzaje chorób płuc:
{gruz
lica, zapalenie płuc, zapalenie oskrzeli},
3
Objawy chorobowe:
{wyniki Rtg, duszności}.
Uwaga: Przykład nie nadaje się do zastosowań wprost, ze względu na
małą liczbę danych.
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 13 / 25
Przykład - Bezwarunkowe prawdopodobieństwa a priori
dotyczące czynników mających wpływ na powstawanie
chorób płuc
A: Pacjent odwiedził Azję: B: Pacjent jest palaczem:
P(A=tak)=0.01, P(B=tak)=0.50,
P(A=nie)=0.99; P(B=nie)=0.50
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 14 / 25
Przykład - Warunkowe prawdopodobieństwa a priori
występowania chorób: {gruz
lica, rak płuc, zapalenie
oskrzeli}
C: Występuje gruz
lica pod warunkiem, że pacjent odwiedził Azję: P(C|A)
P(C|A=tak) P(C|A=nie)
A=tak 0.05 0.95
A=nie 0.01 0.99
D: Występuje rak płuc pod warunkiem, że pacjent jest palaczem: P(D|B)
P(D|B=tak) P(D|B=nie)
B=tak 0.10 0.90
B=nie 0.01 0.99
E: Występuje zapalenie oskrzeli pod warunkiem, że pacjent jest palaczem:
P(E|B)
P(E|B=tak) P(E|B=nie)
B=tak 0.60 0.40
B=nie 0.30 0.70
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 15 / 25
Przykład - określenie funkcji deterministycznej dla węzła
sieci Bayesa  gruz
lica lub rak płuc
Funkcja potrzebna do obliczenia pr. wystÄ…pienia gruz
licy lub rak płuc:
P(F|C lub D)
F: Funkcja deterministyczna:
(C, D)=(tak,tak) Ò! (C lub D)=tak
(C, D)=(tak,nie) Ò! (C lub D)=tak
(C, D)=(nie,tak) Ò! (C lub D)=tak
(C, D)=(nie,nie) Ò! (C lub D)=nie
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 16 / 25
Przykład - warunkowe prawdopodobieństwa a priori
objawów choroby:  Wynik Rtg wskazuje chorobę oraz
 Występują duszności
G: Wynik badania Rtg jest pozytywny pod warunkiem istnienia  gruz
licy
lub raka płuc :
P(G|F)=tak P(G|F)=nie
F=tak 0.02 0.98
F=nie 0.95 0.05
H: Występują duszności pod warunkiem F (gruz
lica lub rak płuc) i E
(zapalenie oskrzeli): P(H|F'"E)=tak, P(H|F'"E)=nie
(F, E)=(tak,tak) 0.90 0.10
(F, E)=(tak,nie) 0.70 0.30
(F, E)=(nie,tak) 0.80 0.20
(F, E)=(nie,nie) 0.10 0.90
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 17 / 25
Pierwotna sieć Bayesa i wnioskowanie
Sieć pierwotna (tuż po wprowadzeniu wiedzy a priori) przedstawia
sytuację zupełnego braku wiedzy o konkretnym pacjencie (wiedza
wynika tylko z danych statystycznych).
Praktyczna korzyść z wnioskowania bayesowskiego:
Wprowadzanie nowej informacji powoduje korygowanie
prawdopodobieństw w sieci, a to odbywa się automatycznie.
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 18 / 25
Przykład -  Pacjent ma duszności , P(H) = 1
1
P(E): 45% 83.4%. E jest częściej spotykane niż F.
2
P(B): 50% 63.4%. Wzrosła szansa, że pacjent jest palaczem (B) ...
3
P(A): 1% 1.03%. Szansa na A jest prawie taka sama.
4
P(G): 11% 16%. Szanse Rtg  poza normÄ… (G).
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 19 / 25
Przykład - pierwsze wnioski, gdy:  Pacjent ma duszności
Co dolega pacjentowi?
Groz
ba fatalnego rozpoznania:
P(E)=0.834 - cierpi na zapalenie oskrzeli? Jeśli zatrzymujemy się w
tym miejscu i diagnozujemy pacjenta jako chorego na zapalenie
oskrzeli, podczas, gdy byłby chory na raka, to byłoby fatalne
rozpoznanie.
Potrzebujemy więcej informacji.
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 20 / 25
Przykład - wprowadzenie nowej informacji:  Pacjent
odwiedził Azję
 Usprawiedliwianie w sieci Bayesa:
Jeżeli istniejaÛ rywalizujace ze sobaÛ możliwe powody zaistnienia
Û
jakiego´s zdarzenia i szanse jednego z nich wzrosÅ‚y, to inne szanse
zmniejszajaÛ sieÛ i saÛ  usprawiedliwione .
P(C): 2% 9%. H jest lepiej wyjaśnione. P(D), P(E), P(B): .
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 21 / 25
Przykład - wprowadzenie nowej informacji:  Pacjent pali
Nadal najlepszÄ… hipotezÄ… jest E, nie C czy D.
Jednak trzeba się upewnić wykonując prześwietlenie Rtg.
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 22 / 25
Przykład - wprowadzenie nowej informacji:  Wyniki badań
Rtg sÄ… w normie
Mocne potwierdzenie E i nikłe szanse D.
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 23 / 25
Przykład - wprowadzenie nowej informacji:  Wyniki badań
Rtg nie sÄ… w normie
Teraz C i D . E jest wciąż najbardziej prawdopodobne w zbiorze {C,D,E}
ale jest mniejsze, niż hipoteza F=D*"C.
Trzeba wykonać dalsze testy, badania krwi, biopsje tkanki płucnej itp.
Mocna strona sieci Bayesa:
Obecna sieć Bayesa nie relacjonuje tych testów ale można ją poszerzać
dodajac nowe węzły - bez wyrzucania części poprzedniej sieci.
Û
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 24 / 25
Podsumowanie
Sieć Bayesa pozwala na intuicyjną, graficzną wizualizację wiedzy
zawierającą wzajemne oddziaływania pomiędzy różnymi z
ródłami
niepewności.
Mechanizm wnioskowania wykorzystuje twierdzenie Bayesa:
P(A|B)P(B)=P(B|A)P(A) i polega na obliczaniu prawdopodobieństwa
każdego możliwego wyniku, gdy znany jest konkretny przypadek.
Sieci Bayesa mogą być stosowane m.in. w diagnostyce (systemy
doradcze), w rozumowaniu przebiegającym od objawów do przyczyn i
odwrotnie.
Wady:
wymaga się dokładnych znajomości wartości prawdopodobieństw,
nie zawsze jest spełnione podstawowe założenie:  A i B są warunkowo
niezależne przy znajomoÅ›ci C Ô! P(A|B,C)=P(A|C) ,
czasami wymaga się nierealistycznych założeń, np. wymagane wyniki
rozpoznania muszą się wzajemnie wykluczać, tymczasem pacjent może
mieć wiele chorób jednocześnie.
J. Kluska (Politechnika Rzeszowska) Sieci Bayesa 2011 25 / 25