Instrukcja do ćwiczeń 2 i 3 – drzewa decyzyjne 
 
W zadaniach należy użyć wskazany zbiór danych (spośród zbiorów: dane1,…,dane11) – dla 
grup 2 osobowych. 
 
Ćwiczenia 2 

1. Polecenia obliczeniowe "na kartkach" (bez wykorzystania narzędzia komputerowego):  

a)

  Obliczyć i narysować drzewo decyzyjne tworzone przez algorytm CART, przyjmując 

jako dane trenujące 8 wybranych losowo rekordów wskazanego zbioru danych. 

b)

  Przetestować  obliczone  drzewo  przyjmując  jako  dane  testowe  6  losowo  wybranych 

rekordów. 

c)

  Sporządzić  odpowiednią  macierz  pomyłek  i  obliczyć  poziom  błędu.  Skomentować 

uzyskane wyniki. 

  

  2. Polecenia do wykonania z wykorzystaniem pakietu Tanagra. 

a)

  Za  pomocą  algorytmu  CART  dostępnego  w  środowisku  Tanagra  przeprowadzić 

indukcję drzewa decyzyjnego korzystając ze zbioru danych z punktu 1a. Przetestować 
otrzymane  drzewo  na  zbiorze  danych  z  punktu  1b.  Porównać  wyniki  z  wynikami 
otrzymanymi w punkcie 1. 

b)

  Dla pełnego zbioru danych obliczyć drzewo decyzyjne za pomocą algorytmu CART. 

Należy przyjąć, że zbiór treningowy stanowi 80% danych, oraz zbadać różne wartości 
parametrów algorytmu:  

  Min size of node to split = 2, 5, 10, 15 i 20 przy wartości parametru “Pruning set 

size” = 10%. 

  Zespoły  3  osobowe  dodatkowo:  Pruning  set  size  =  10%,  20%,  30%,  40%  i  50% 

przy wartości parametru “Min size of node to split” = 10. 

Dla  każdej  rozważanej  wartości  parametru  (parametrów)  określić  poziom  błędu. 
Wyniki przedstawić w postaci tabeli lub wykresu i skomentować.  

c)

  Dla  „najlepszego”  drzewa  (znalezionego  w  pkt  2b)  zbadać,  jak  wielkość  zbioru 

treningowego wpływa na poziom błędu. Przeprowadzić obliczenia dla przypadków, w 
których  zbiór  treningowy  stanowi  40%,  60%  i  80%  wszystkich  danych.  Uzyskane 
wyniki przedstawić w postaci tabeli lub wykresu i skomentować. 

 
 
Ćwiczenia 3 

1. Polecenia obliczeniowe "na kartkach" (bez wykorzystania narzędzia komputerowego):  

a)

  Obliczyć  i  narysować  drzewo  decyzyjne  tworzone  przez  algorytm  C4.5,  przyjmując 

jako dane trenujące 8 wybranych losowo rekordów wskazanego zbioru danych. 

b)

  Przetestować  obliczone  drzewo  przyjmując  jako  dane  testowe  6  losowo  wybranych 

rekordów. 

c)

  Sporządzić  odpowiednią  macierz  pomyłek  i  obliczyć  poziom  błędu.  Skomentować 

uzyskane wyniki. 

d)

  Porównać uzyskane drzewo z drzewem obliczonym za pomocą algorytmu CART.  

  

  2. Polecenia do wykonania z wykorzystaniem pakietu Tanagra. 

a)

  Przeprowadzić  serię  eksperymentów  oceny  drzew  decyzyjnych  wygenerowanych  za 

pomocą algorytmu C4.5, zmieniając wartość parametru Min. size of leaves od 1 do 30 
z krokiem 2 i sporządzić wykres: 

   zależności średniej trafności klasyfikowania od zmienianego parametru. 

oraz omówić zależność trafności klasyfikowania od rozmiaru drzewa. 

Przyjąć podział zbioru danych na 5 podzbiorów (Podział należy wykonać tak, aby 
podzbiory miały podobne rozmiary i dystrybucje klas. Przyjąć standardowe ustawienia 
pozostałych  parametrów).  Wyniki  (poziom  błędu,  rozmiar  drzewa)  dla  każdego  z 
podzbiorów powinny być zamieszczone w tabeli. 

b)

  Przeprowadzić  serię  eksperymentów  oceny  drzew  decyzyjnych  wygenerowanych  za 

pomocą  algorytmu  C4.5,  zmieniając  wartość  parametru  Confidence  level  od  0.05  do 
0.5 z krokiem 0.05 i sporządzić wykres 

   zależności średniej trafności klasyfikowania od zmienianego parametru. 

oraz omówić zależność trafności klasyfikowania od rozmiaru drzewa. 

Przyjąć podział zbioru danych na 5 podzbiorów (Podział należy wykonać tak, aby 
podzbiory miały podobne rozmiary i dystrybucje klas). Eksperyment przeprowadzić 
dla  dwóch  wartości  parametru  Min.  size  of  leaves:  5  i  20.  Wyniki  (poziom  błędu, 
rozmiar drzewa) dla każdego z podzbiorów powinny być zamieszczone w tabeli. 

c)

  Przeprowadzić dyskusję wyników otrzymanych w punktach a i b zwracając uwagę na 

zjawisko przeuczenia.