POLITECHNIKA WARSZAWSKA
MEL
MEL
WYDZIAA
MECHANICZNY ENERGETYKI I LOTNICTWA
WPROWADZENIE
DO SZTUCZNEJ INTELIGENCJI
NS 586
Dr in\
. Franciszek Dul
© F.A. Dul 2007
18. UCZENIE SI

NA PODSTWIE OBSERWACJI
NA PODSTWIE OBSERWACJI
© F.A. Dul 2007
Uczenie na podstawie obserwacji
Poka\
emy, w jaki sposób agent mo\
e
ulepszyć swoje działania i zachowania
poprzez uczenie siÄ™ na podstawie
poprzez uczenie siÄ™ na podstawie
swoich własnych doświadczeń.
© F.A. Dul 2007
Plan rozdziału
" Agenci uczÄ…cy siÄ™
" Uczenie indukcyjne
" Uczenie drzewa decyzyjnego
" Teoria uczenia - dlaczego to działa?
© F.A. Dul 2007
Trzeba się uczyć
Obserwując środowisko agent nie tylko zdobywa
wiedzę o świecie, ale tak\
e mo\
e ulepszyć swoje
działania w przyszłości.
Uczenie ma mieć ró\
ne formy  mo\
e polegać
po prostu na gromadzeniu doświadczeń, ale mo\
e
tak\
e prowadzić do stworzenia ogólnych teorii,
na miarÄ™ teorii Einsteina.
na miarÄ™ teorii Einsteina.
Rozpoczniemy od omówienia uczenia indukcyjnego
na podstawie obserwacji w oparciu o logikę zdań.
Odpowiemy te\
na pytanie, dlaczego uczenie działa?
© F.A. Dul 2007
18.1. Formy uczenia
Agent musi się uczyć, je\
eli musi działać w nieznanym
środowisku.
Uczenie jest metodÄ… konstruowania agenta polegajÄ…cÄ…
na skonfrontowaniu agenta z rzeczywistością zamiast
budowania dokładnego modelu jego działania.
Uczenie modyfikuje mechanizm podejmowania decyzji
agenta w celu polepszenia jego osiągów.
Standard jakości
Agent uczÄ…cy siÄ™ posiada:
Agent uczÄ…cy siÄ™ posiada:
Krytyka Czujniki
" moduł decyzyjny, który
SprzÄ™\
enie
dokonuje wyboru działań na
zwrotne
Zmiany
podstawie obserwacji,
Moduł Moduł
uczÄ…cy siÄ™ decyzyjny
" moduł uczący się, który Wiedza
Cel
uczenia
modyfikuje moduł decyzyjny
Generator Mechanizmy
tak, aby podejmował on lepsze
problemów wykonawcze
decyzje.
Agent
Moduły uczące się mogą mieć ró\
ne postacie, zale\
ne od typu
agenta który ma się uczyć.
© F.A. Dul 2007
Åš
rodowisko
18.1. Formy uczenia
Postać modułu uczącego zale\
y od:
" Rodzaju elementów modułu decyzyjnego które mają być
uczone (odwzorowanie stan-działanie, reprezentacja cech
środowiska, model środowiska i działań, u\
yteczność stanów,
u\
yteczność działań, cel),
" Reprezentacji nauczanych elementów (refleksowa, logiczna,
probabilistyczna).
" SprzÄ™\
enia zwrotnego które mo\
e być u\
yte do uczenia tych
elementów.
" Zakresu wiedzy poczÄ…tkowej (apriorycznej) agenta.
" Zakresu wiedzy poczÄ…tkowej (apriorycznej) agenta.
SprzÄ™\
enie zwrotne jest najwa\
niejszym czynnikiem
określającym rodzaj uczenia:
" Uczenie nadzorowane (supervised learning): wyznaczenie
funkcji na podstawie przykładów uczących (danych i
odpowiedzi),
" Uczenie nienadzorowane (unsupervised learning): wyznaczenie
funkcji na podstawie danych bez znajomości odpowiedzi.
" Uczenie ze wzmocnieniem (reinforcement learning):
wyznaczenie funkcji na podstawie oceny wyników działania
agenta (najbardziej ogólne).
© F.A. Dul 2007`
18.2. Uczenie indukcyjne
Uczenie indukcyjne jest najprostszÄ… formÄ… uczenia siÄ™.
Agent powinien nauczyć się funkcji celu f (target function).
Uczenie realizowane jest za pomocą wzorców będących
parami (x, f(x)), x"D.
Zbiór wzorców jest zbiorem uczącym.
Zadanie uczenia indukcyjnego:
Znalez
ć hipotezę h nale\
Ä…cÄ…do przestrzeni hipotez H
Znalez
ć hipotezę h nale\
Ä…cÄ…do przestrzeni hipotez H
takÄ…, \
e h przybli\
a f dla danego zbioru uczÄ…cego
wzorców.
Dobra hipoteza h umo\
liwia uogólnienie - prawidłową
klasyfikacjÄ™ wzorca nie nale\
Ä…cego do zbioru uczÄ…cego.
Uczenie indukcyjne jest bardzo uproszczonym sposobem
uczenia siÄ™, gdy\
:
" ignoruje wiedzÄ™ apriorycznÄ… posiadanÄ… przez agenta,
" zakłada, \
e dysponujemy zbiorem uczÄ…cym.
© F.A. Dul 2007
18.2. Uczenie indukcyjne
Metoda uczenia indukcyjnego
Hipoteza h jest zgodna (consistent) je\
eli pokrywa siÄ™
z funkcją f dla wszystkich wzorców.
Dopasowanie hipotezy h tak, aby zgadzała się z funkcją celu
f na zbiorze uczÄ…cym mo\
na osiągnąć np. poprzez
dopasowanie krzywej (curve fitting).
h5 = a0 + a1x + a2x2 + a3x3 + a4x4 + a5x5
h2 = a0 + a1x + a2x2
f(x)
h1 = a0 + a1x
h1 = a0 + a1x
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
x
Którą zgodną hipotezę nale\
y zatem wybrać?
Brzytwa Ockhama (Ockham s razor): nale\
y wybrać
najprostszÄ… hipotezÄ™ zgodnÄ… z danymi.
© F.A. Dul 2007
18.2. Uczenie indukcyjne
Identyfikacja jako uczenie indukcyjne
Identyfikacja parametryczna polega na wyznaczeniu
parametrów p danego modelu M(x(t);p) tak, aby predykcja
stanu x(t) była zgodna z obserwacjami y(tk), np. w sensie
normy
n
p = argmin || y(tk ) - x(tk;q) ||
"
q"D
k =1
Identyfikacja parametryczna jest więc rodzajem uczenia
Identyfikacja parametryczna jest więc rodzajem uczenia
indukcyjnego, w którym funkcja celu dana jest niejawnie
poprzez model zale\
ny od parametrów.
Identyfikacja strukturalna polega na wyznaczeniu struktury
modelu, np. w postaci grafu przepływu informacji, systemu
modeli przyczynowych, itp.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Drzewo decyzyjne jest strukturą funkcyjną na wejściu której
są atrybuty, zaś na wyjściu  decyzja.
Atrybuty oraz decyzja mogą być dyskretne lub ciągłe.
Drzewo decyzyjne stanowi jednÄ… z mo\
liwych reprezentacji
hipotez.
Drzewo decyzyjne mo\
e reprezentować moduł decyzyjny
agenta.
Uczenie drzew decyzyjnych jest jednÄ… z najbardziej
Uczenie drzew decyzyjnych jest jednÄ… z najbardziej
u\
ytecznych form uczenia.
Uczenie drzew decyzyjnych dyskretnych nazywa siÄ™
klasyfikacją, zaś ciągłych  regresją.
Klasyfikacja boolowska u\
ywa wartości Fałsz i Prawda.
Drzewo decyzyjne wyznacza decyzjÄ™ na podstawie ciÄ…gu
testów.
Ka\
dy test dotyczy pewnego atrybutu, zaś liście drzewa
określają wypracowane decyzje.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Przykład
Nale\
y zdecydować czy czekać na stolik w restauracji
opierając się na następujących atrybutach:
" Alternatywa: czy w pobli\
u jest inna restauracja?
" Bar: czy jest wygodny bar przy którym mo\
na poczekać?
" PiÄ…tek/Sobota: czy jest piÄ…tek lub sobota?
" Głodny: czy jesteśmy głodni?
" Klienci: liczba osób w restauracji (Brak, Kilku, Pełno);
" Klienci: liczba osób w restauracji (Brak, Kilku, Pełno);
" Cena: rozpiętość cen ($, $$, $$$);
" Deszcz: czy pada na zewnÄ…trz?
" Rezerwacja: czy dokonaliśmy rezerwacji?
" Rodzaj: rodzaj restauracji (francuska, włoska, tajska, Burger);
" Czas: szacowany czas oczekiwania: 0-10, 10-30, 30-60, >60 min.
Decyzję określa predykat CzyCzekać będący funkcją
atrybutów.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Reprezentacje oparte na atrybutach
Wzorce opisane są przez wartości atrybutów (boolowskie,
dyskretne, ciągłe).
Zbiór uczący dla zadania oczekiwania na stolik w restauracji.
Cel
Atrybuty
Przykład Czy
Altern. Bar Pt/Sob GÅ‚odny Klienci Cena Deszcz Rezer. Rodzaj Czas
Czekać?
X1 Tak Nie Nie Tak Kilku $$$ Nie Tak Francuska 0-10 Tak
X2 Tak Nie Nie Tak Pełno $ Nie Nie Tajska 30-60 Nie
X3 Nie Tak Nie Nie Kilku $ Nie Nie Burger 0-10 Tak
X Tak Nie Tak Tak Pełno $ Nie Nie Tajska 10-30 Tak
X4 Tak Nie Tak Tak Pełno $ Nie Nie Tajska 10-30 Tak
X5 Tak Nie Tak Nie Pełno $$$ Nie Tak Francuska > 60 Nie
X6 Nie Tak Nie Tak Kilku $$ Tak Tak WÅ‚oska 0-10 Tak
X7 Nie Tak Nie Nie Brak $ Tak Nie Burger 0-10 Nie
X8 Nie Nie Nie Tak Kilku $$ Tak Tak Tajska 0-10 Tak
X9 Nie Tak Tak Nie Pełno $ Tak Nie Burger > 60 Nie
X10 Tak Tak Tak Tak Pełno $$$ Nie Tak Włoska 10-30 Nie
X11 Nie Nie Nie Nie Brak $ Nie Nie Tajska 0-10 Nie
X12 Tak Tak Tak Tak Pełno $ Nie Nie Burger 30-60 Tak
Klasyfikacja wzorców jest pozytywna (Tak) lub negatywna (Nie).
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Drzewo decyzyjne
Drzewo decyzyjne dla zadania oczekiwania na stolik
w restauracji.
Klienci
Brak Kilku Pełno
Fałsz Prawda
CzasOczekiwania
> 60 60-30 30-10 0-10
Fałsz Prawda
Alternatywa ? GÅ‚odny?
Nie Tak
Nie Tak
Prawda
Rezerwacja ? PiÄ…tek/Sobota ? Alternatywa ?
Nie Tak
Nie Tak Nie Tak
Prawda Fałsz
Bar ? Prawda Prawda
PadaDeszcz ?
Nie Tak Nie Tak
Fałsz
Prawda
Fałsz
Prawda
Postać logiczna drzewa decyzyjnego
"s CzyCzekać(s) Ô! ( P1(s) (" P2(s) (" ... (" Pm(s) )
Ô!
Ô!
Ô!
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Ekspresyjność drzewa decyzyjnego
Drzewo decyzyjne mo\
e reprezentować ka\
dÄ… funkcjÄ™
atrybutów.
Funkcjom boolowskim lub wierszom tablic prawdy
odpowiadają ście\
ki do liści.
Przykład Drzewo decyzyjne dla funkcji logicznej XOR (eXclusive OR)
A B A xor B A
Fałsz Prawda
Fałsz Fałsz Prawda
Fałsz Prawda Fałsz B B
Prawda Fałsz Fałsz
Fałsz Prawda Fałsz Prawda
Prawda Prawda Prawda
Fałsz Prawda Prawda Fałsz
Dla ka\
dego zbioru uczÄ…cego mo\
na zbudować trywialne
zgodne drzewo decyzyjne z jedną ście\
ką do liścia dla
ka\
dego wzorca.
Takie drzewo nie mo\
e jednak być uogólnione dla nowych
wzorców i mo\
e być bardzo wielkie.
Mo\
na jednak zbudować bardziej zwarte drzewa decyzyjne.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Drzewa decyzyjne są efektywne dla pewnych zadań, a dla
innych nie.
Nie ma ogólnej efektywnej reprezentacji dowolnej funkcji.
Uzasadnienie
Liczba wszystkich funkcji boolowskich z n atrybutami jest
równa liczbie opisujących je tablic prawdy.
Ka\
da tablica prawdy ma 2n wierszy.
Wartość funkcji opisuje 2n cyfr (kolumna tablicy prawdy).
Wartość funkcji opisuje 2n cyfr (kolumna tablicy prawdy).
n
Liczba ró\
nych funkcji jest zatem równa 22 .
Ju\
dla n = 6 atrybutów boolowskich liczba funkcji jest
równa
18,446,744,073,709,551,616 ~ 1019.
Mo\
na jednak efektywnie budować drzewa decyzyjne
dla wielu problemów o znaczeniu praktycznym.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Uczenie drzewa decyzyjnego
Cel: zbudować  małe drzewo zgodne z wzorcami uczącymi.
Idea: wybrać rekursyjnie  najwa\
niejsze" atrybuty jako
korzenie poddrzew.
Dobre atrybuty dzielą zbiór wzorców na podzbiory które (w
przypadku idealnym) są w całości pozytywne lub negatywne.
Przykład
1 3 4 6 8 12
1 3 4 6 8 12
2 5 7 9 10 11
2 5 7 9 10 11
Rodzaj
Klienci
Kilku Pełno
Francuska Burger Brak
WÅ‚oska Tajska
1 3 6 8
4 12
1 6 4 8 3 12
7 11 2 5 9 10
5 10 2 11 7 9
GÅ‚odny?
Rodzaj jest złym atrybutem dzielącym,
Nie Tak
gdy\
utworzone podzbiory sÄ… mieszane.
4 12
Klienci są lepszym atrybutem jako korzeń
5 9
2 10
drzewa, gdy\
dwa podzbiory sÄ… jednorodne.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Algorytm uczenia drzewa decyzyjnego DTL (Decision Tree
Learning)
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Wybór atrybutów na podstawie teorii informacji
Ocena zdolności atrybutu do efektywnego podziału zbioru
uczÄ…cego mo\
e być przeprowadzona za pomocą pojęcia
pojemności informacyjnej (entropii):
n
I (P(v1),..., P(vn)) =
"- P(vi)log2 P(vi )
i=1
Dla zbioru uczącego zawierającego p wzorców pozytywnych
i n wzorców negatywnych entropia jest równa:
i n wzorców negatywnych entropia jest równa:
p n p p n n
I( , ) = - log2 - log2
p + n p + n p + n p + n p + n p + n
Przykład Dla zadania restauracyjnego mamy p = 6, n = 6,
zatem entropia jest równa
6 6 1 1 1 1
I( , ) = - log2 - log2 = 1bit
12 12 2 2 2 2
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Wzmocnienie informacyjne
Je\
eli atrybut A dzieli zbiór uczący E na podzbiory E1, & , Em,
które zawierają pi oraz ni wzorców pozytywnych i negatywnych
to ilość informacji potrzebna do klasyfikacji wzorców jest równa
m
pi+ni pi ni
R(A) = I( , )
"
p + n pi + ni pi + ni
i=1
Wzmocnienie informacyjne (Information Gain, IG) lub
zmniejszenie entropii atrybutu A wynosi
zmniejszenie entropii atrybutu A wynosi
p n
IG(A) = I( , ) - R(A)
p + n p + n
Wybór atrybutów przy budowie drzewa decyzyjnego następuje
w kolejności określonej wartościami ich wzmocnienia
informacyjnego.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Przykład
Wartości wzmocnienia informacyjnego dla atrybutów Klienci
i Rodzaj są równe:
2 4 6 2 4
IG(Klienci) = 1- [ I(0,1) + I(1,0) + I ( , )] = .0541 bitów
12 12 12 6 6
2 1 1 2 1 1 4 2 2 4 2 2
IG(Rodzaj) = 1- [ I ( , ) + I ( , ) + I( , ) + I( , )] = 0 bitów
12 2 2 12 2 2 12 4 4 12 4 4
Wartość IG(Klienci) jest większa ni\
IG(Rodzaj) i dlatego
atrybut Klienci zostanie wybrany przez algorytm Decision Tree
Learning jako korzeń drzewa decyzyjnego.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Nauczone drzewo decyzyjne
Drzewo decyzyjne nauczone na podstawie 12 wzorców.
Klienci
Brak Kilku Pełno
Fałsz Prawda
GÅ‚odny?
Tak Nie
Fałsz
Rodzaj
Francuska
Francuska
WÅ‚oska Tajska Burger
WÅ‚oska Tajska Burger
Prawda Fałsz Prawda
PiÄ…tek/Sobota ?
Nie Tak
Fałsz
Prawda
Nauczone drzewo jest du\
o prostsze ni\
drzewo wyjściowe.
Drzewo to ukazuje nieznaną wcześniej własność - gotowość
oczekiwania w weekendy na tajskie posiłki.
Drzewo odpowiadajÄ…ce hipotezie h bli\
szej prawdziwej funkcji
f mo\
na uzyskać na podstawie większej ilości wzorców.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Miara jakości uczenia
Hipoteza h dobrze przybli\
a funkcjÄ™ celu f je\
eli poprawnie
klasyfikuje wzorce nieznane wcześniej.
Metodologia oceny a posteriori jakości uczenia:
" Zebrać du\
y zbiór wzorców.
" Podzielić zbiór wzorców na zbiór uczący i zbiór
testowy.
" Wyznaczyć hipotezę h za pomocą algorytmu uczącego
" Wyznaczyć hipotezę h za pomocą algorytmu uczącego
przy wykorzystaniu wzorców ze zbioru uczącego.
" Wyznaczyć udział poprawnie sklasyfikowanych
wzorców ze zbioru testowego przy u\
yciu hipotezy h.
" Powtórzyć procedurę dla zbiorów testowych o ró\
nych
wymiarach.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Krzywa uczÄ…ca obrazuje
udział poprawnych dopasowań
wzorców ze zbioru testowego
w funkcji wymiaru zbioru
uczÄ…cego.
Wraz ze wzrostem wymiaru
zbioru uczÄ…cego wzrasta
stopień poprawności
klasyfikacji za pomocÄ…
hipotezy h.
hipotezy h.
Zaglądanie (peeking) jest błędem uczenia polegającym
na  przeciekaniu informacji ze zbioru testowego w trakcie
procesu nauczania.
Zaglądanie powoduje spadek jakości klasyfikacji za pomocą
tak otrzymanej hipotezy.
ZaglÄ…daniu mo\
na zaradzić poprzez staranną separację
zbiorów uczących i testowych.
© F.A. Dul 2007
18.3. Uczenie drzew decyzyjnych
Przeuczenie (overfitting)
Gdy przestrzeń hipotez jest zbyt obszerna mo\
e wystąpić
zjawisko przeuczenia.
Przeuczenie występuje najczęściej wtedy, gdy:
" uczenie trwa zbyt długo,
" zbiór uczÄ…cy jest za maÅ‚y. µ
" u\
ywa się parametrów
nie zwiÄ…zanych przyczynowo
PoczÄ…tek
przeuczenia
z funkcjÄ… celu.
z funkcjÄ… celu.
Przy przeuczeniu błąd dopasowania
wzorców ze zbioru uczącego spada,
zaś błąd dopasowania wzorców
n
ze zbioru testowego rośnie.
Przeuczenia mo\
na uniknąć przeprowadzając testy, np. wali-
dacji skrośnej (cross-validation) czy wczesnego zakończenia.
Pozwalają one stwierdzić, czy dalsze uczenie prowadzi
do otrzymania lepszych uogólnień.
Przeuczenie mo\
e wystąpić we wszystkich rodzajach uczenia.
© F.A. Dul 2007
18.4. Uczenie zespołowe
Uczenie zespołowe (ensemble learning) obejmuje zbiór hipotez.
Istota uczenia zespołowego polega na wyznaczeniu zbioru
hipotez a następnie łączeniu wyników ich przewidywań.
Mo\
na zbudować kilka drzew decyzyjnych na podstawie tego
samego (du\
ego) zbioru uczÄ…cego i u\
yć ich do klasyfikacji
poprzez głosowanie.
Głosowanie większościowe umo\
liwia poprawienie jakości
klasyfikacji, gdy\
prawdopodobieństwo błędnej klasyfikacji
klasyfikacji, gdy\
prawdopodobieństwo błędnej klasyfikacji
przez większość drzew jest małe.

U\
ycie pięciu hipotez zamiast jednej


redukuje prawdopodobieństwo błędnej     

+

klasyfikacji z 1/10 do 1/100.
  
+
+


 +
++


Uczenie zespołowe pozwala rozszerzyć
+

+
+ 
+
 +
+  
+
przestrzeń hipotez.

    


 
Trzy hipotezy pozwalają kwalifikować

wzorce w obszarze, czego nie mo\
na
łatwo osiągnąć przy pomocy pojedyńczej hipotezy.
© F.A. Dul 2007
18.4. Uczenie zespołowe
Najczęściej u\
ywaną metodą uczenia zespołowego jest
metoda wzmacniania (boosting).
© F.A. Dul 2007
18.5. Obliczeniowa teoria uczenia
Dlaczego uczenie jest skuteczne?
Podstawowa zasada obliczeniowej teorii uczenia:
ZÅ‚a hipoteza zostanie prawie na pewno wykryta
na podstawie niewielkiej liczby przykładów uczących,
gdy\
jej przewidywania będą niewłaściwe.
Je\
eli hipoteza jest potwierdzona przez du\
ą liczbę przykładów
uczących, to jest mało prawdopodobne aby była zła.
Taka hipoteza jest prawdopodobnie w przybli\
eniu poprawna
Taka hipoteza jest prawdopodobnie w przybli\
eniu poprawna
(probably approximately correct, PAC).
Algorytm PAC  algorytm uczÄ…cy oparty na hipotezie PAC.
Zało\
enie podstawowe (o stacjonarności): zbiory uczące
i testowe sÄ… wybrane losowo i sÄ… niezale\
ne.
Zakłada się te\
, \
e przykłady uczące są typowe dla zadania
 nie są  dziwne (np. trójkołowe samochody, itp.), gdy\

wówczas uogólnienia mogą być niemiarodajne (np. przy
rozpoznawaniu samochodów).
© F.A. Dul 2007
18.5. Obliczeniowa teoria uczenia
Liczba przykładów uczących
Oznaczenia:
" X  zbiór wszystkich mo\
liwych przykładów,
" D  z
ródło przykładów,
" H  zbiór mo\
liwych hipotez,
" N  liczba przykładów w zbiorze uczącym.
Błąd hipotezy h względem funkcji celu f " H przy danym
zbiorze D jest to prawdopodobieństwo tego, \
e h ró\
ni siÄ™
od f na pewnym przykładzie z D,
e(h) = P( h(x) `" f(x) | x " D ).
e(h) = P( h(x) `" f(x) | x " D ).
Hipoteza jest poprawna w przybli\
eniu, je\
eli e(h) d" µ, µ maÅ‚e.
Hipotezy zgodne le\
Ä… w kole o Å›rodku w f i promieniu µ.
H
Liczba N przykładów uczących dla
których wszystkie hipotezy zgodne będą
w przybli\
eniu poprawne jest równa
µ
Hzłe
f
1 1
N e" (ln + ln | H |)
µ ´
1-´  prawdopodobieÅ„stwo, \
e błąd
hipotezy jest mniejszy ni\
µ. © F.A. Dul 2007
Uczenie agenta indukcyjnego
Uczenie indukcyjne to w istocie aproksymacja funkcji
na podstawie danych doświadczalnych.
Uczenie drzew decyzyjnych ma charakter
identyfikacji strukturalnej  buduje siÄ™ strukturÄ™
drzewa na podstawie danych.
Agent uczÄ…cy siÄ™ indukcyjnie jest  tabula rasa
 nie wie niczego o świecie i niczego nie pamięta.
 nie wie niczego o świecie i niczego nie pamięta.
Mo\
e on znacznie podwy\
szyć efektywność i jakość
uczenia poprzez wykorzystanie wiedzy wiedzy
posiadanej a priori.
Bardziej zaawansowany agent będzie zatem
wykorzystywał uczenie z wiedzą.
© F.A. Dul 2007
Podsumowanie
" Uczenie jest niezbędne przy niepewnym środowisku.
" Agent uczący się = moduł decyzyjny + moduł uczący się.
" Uczenie przybiera wiele form zale\
nych od struktury agenta
i rodzaju uczÄ…cego sprzÄ™\
enia zwrotnego.
" Uczenie indukcyjne wykorzystuje wzorce uczące - zbiór par
wejście i wyjście.
" Uczenie funkcji dyskretnej to klasyfikacja, zaś funkcji ciągłej
to regresja.
" Uczenie indukcyjne polega na znalezieniu hipotezy zgodnej
" Uczenie indukcyjne polega na znalezieniu hipotezy zgodnej
z danymi wzorcami.
" Brzytwa Ochkama sugeruje wybór hipotezy najprostszej.
" Identyfikacja modelu jest formÄ… uczenia indukcyjnego.
" Drzewo decyzyjne uczy siÄ™ przy wykorzystaniu
wzmocnienia informacyjnego.
" Przeuczenie polega na nadmiernym dopasowaniu hipotezy
do wzorców i prowadzi do błędnych klasyfikacji.
" Jakość uczenia wyra\
a się dokładnością wzorców mierzoną
na zbiorze testowym (innym ni\
zbiór uczący).
© F.A. Dul 2007