6218157022

informacji wynikający z zastosowania atrybutu a do zbudowania testu dzielącego zbiór przykładów uczących S jest zdefiniowany jako różnica:

Gain{S, a) = Ent(S) — Ent(S\a).

3.1 Przykład tworzenia drzewa

Załóżmy, że chcemy klasyfikować klientów sklepu elektronicznego pod względem tego czy kupią komputer czy nie. Elementy tego zbioru zestawiono w tabeli 2.

Tablica 2: Zbiór przykładów uczących opisujących grupę klientów sklepu elek-t ronicznego_

lp	Dochody	Student	Płeć	Kupuje komputer
1	średnie	tak	mężczyzna	tak
2	średnie	nie	kobieta	nie
3	wysokie	tak	kobieta	tak
4	niskie	tak	mężczyzna	nie
5	niskie	tak	kobieta	nie
6	średnie	tak	kobieta	tak
7	niskie	nie	kobieta	nie
8	średnie	nie	mężczyzna	nie

Wśród przykładów występuje binarna klasyfikacja. W związku z tym miara entropii dla zbioru S wyraża się wzorem:

Ent(S) = ~PTak 1§2 PTak ~ PNie lg2 PNie

Zbiór 8 przykładów składa się z 3 przykładów decyzji Tak i 5 na decyzję Nie. Odpowiednie prawdopodobieństwa są równe ptak = 3/8 oraz p_ni_e = 5/8. Wartość entropii związanej z binarną klasyfikacją rozważanego zbioru przykładów jest następująca:

Ent(S) = -(3/8) lg₂(3/8) - (5/8) lg₂(5/8) = 0.531 + 0.424 = 0.955

. Jeśli wybierzemy atrybut dochody do zbudowania korzenia drzewa, a ma on 3 wartości: {niskie,rednie,wysokie}.

Pierwszy podzbiór S_n^_s^_e — (4,5,7} zawiera 3 przykłady, które należą do klasy decyzyjnej Nie.

Drugi podzbiór Sg_re^_n{_e — {1,2,6,8} zawiera po 2 przykłady z obu klas, podczas, gdy podzbiór S_Wy_SOki_e = {3} złożony jest z jednego przykłady z klasy Tak.

Wartość entropii warunkowej ze względu na ten atrybut jest następująca: Ent(S\dochody) = § * Ent(S_niskie) + | * Ent{S_średnie) + | * Ent.(S_wysoUe) = S*(-0łlog₂0-l*log₂ l)+f(-|*log₂ |-l*log₂ §)+§*(—0*log₂0—l*log₂ 1) = 0+ 0.5 + 0 = 0.5 Przyrost informacji:

GainInformation(S, dochody) = Ent(S) — Ent(S\dochody) = 0.955 — 0.5 = 0.455.

Wartości miar przyrostu informacji wynikających z zastosowania pozostałych

5