PWSZ w KROŚNIE Informatyka
Nazwa przedmiotu: Sztuczna Inteligencja				Nr. spraw. 3
Imię i Nazwisko: Banaś Mariusz	Nr albumu 17518	Temat: System SCANKEE- moduł programowy MLC		Gr. I
								Rok: III dzienny
				Ocena:	Data realizacji: 18.11.2013	Data oddania: 28.03.2014

I. Część teoretyczna.

Algorytm KNN zaliczany jest do grupy algorytmów „lazy learning”, czyli algorytmów dla których konstruowanie opisu funkcji docelowej klasyfikatora odbywa się na etapie klasyfikacji obiektu a nie podczas szkolenia klasyfikatora. W praktyce oznacza to, iż uczenie klasyfikatora ogranicza się do zapisania w pamięci całego zbioru uczącego.

Klasyfikacja odbywa się poprzez porównanie klasyfikowanego obiektu ze wszystkimi zapamiętanymi obiektami ze zbioru uczącego i wybranie spośród nich k najbardziej podobnych obiektów. W celu oszacowania podobieństwa dwóch wektorów cech najczęściej używa się metryki euklidesowej lub ulicznej, wybierając obiekty, dla których odległość ta jest najmniejsza. Klasyfikowanemu obiektowi przypisywana jest klasa reprezentowana przez największą liczbę obiektów spośród k wybranych sąsiadów. W przypadku gdy kilka klas reprezentowanych jest przez tą samą liczbę sąsiadów, wybierana jest klasa sąsiadów najbliższych klasyfikowanemu obiektowi. Parametr k należy wybrać eksperymentalnie w celu otrzymania jak najlepszej klasyfikacji dla danego zbioru danych. Dla małych wartości k algorytm jest bardziej podatny na szumy. Duże wartości k zwiększają czas wykonywania wymaganych obliczeń. Nie zawsze zwiększanie parametru k daje lepsze wyniki klasyfikacji. Algorytm KNN traktuje wszystkie atrybuty wektora cech jako jednakowo ważne co może prowadzić do nieskutecznej klasyfikacji w wyniku dominacji mniej znaczących cech nad cechami ważniejszymi. Aby uniknąć takiej sytuacji należy wybrać odpowiedni zbiór cech lub dokonać modyfikacji algorytmu tak, aby każda cecha miała przypisaną wagę opisującą jej ważność.

Najprostszą modyfikacją klasyfikatora kNN jest klasyfikator minimalno odległościowy, który dokonuje klasyfikacji nieznanego obiektu na podstawie klasy znalezionego pierwszego najbliższego sąsiada (k = 1). Metoda ta sprawdza się w przypadku zbioru danych, w których istnieją wyraźne podziały obiektów na klasy, w przeciwnym wypadku klasyfikacja często może okazać się błędna (gdzie algorytm kNN dla k > 1 mógłby już sobie poradzić znacznie lepiej). Zaletą wyszukiwania tylko jednego sąsiada jest skrócenie czasu klasyfikacji nieznanego obiektu.

Bardziej złożoną modyfikacją kNN jest metoda k najbliższych prototypów. Polega ona na podzieleniu zbioru uczącego na podzbiory a następnie wyznaczeniu uśrednionych wektorów cech dla obiektów z każdego z utworzonych podzbiorów. W efekcie tego działania cały zbiór uczący redukuje się do zbioru wektorów cech reprezentujących poszczególne podzbiory. Dzięki takiemu podejściu znacząco zmniejsza się ilość danych, które muszą być zapamiętane na etapie szkolenia klasyfikatora, ilość porównań, które muszą być wykonane na etapie klasyfikacji a także podatność na szumy występujące w zbiorze danych uczących. Kluczowym zadaniem przy powyższej metodzie jest odpowiednie podzielenie zbioru uczącego na podzbiory tak aby obiekty do siebie podobne znalazły się w tych samych podzbiorach. Podział może być dokonany w oparciu o widzę jaką posiada się na temat zbioru uczącego (w przypadku niniejszej pracy może być to np. podział na klasy znaków) lub też przy wykorzystaniu automatycznych metod grupowania (np. k-means).

II. Część praktyczna i Analiza uzyskanych wyników

Cel ćwiczenia: Celem ćwiczenia jest zapoznanie się z modułem programowym MLC i przeprowadzenie klasyfikacji metodą KNN

1.Głowne okno programu i wybór źródła danych

2.Wybór bazy danych golf

3.Kreowanie zbioru roboczego dla bazy golf

4. Wynik kreowania zbioru roboczego dla bazy golf

5. Klasyfikacja metodą KNN dla danych z bazy golf

6. Ustawienie żądanych wartości

7. Ustawiamy liczbę sąsiadów na 5

8. Lista najbliższych sąsiadów

9. Wynik klasyfikacji

10. Wizualizacja 2D wyniku

11. Wizualizacja 3D wyniku

12. Predykcja dla decyzji 1-PLAY dla 5 sąsiadów

13. Lista najbliższych sąsiadów dla predykcji

14.Wynik predykcji

III. Wnioski.

Klasyfikacja metodą LLM/KNN, jest jedną z funkcji modułu MLC, systemu SCANKEE. Mając źródło danych, możemy przeglądać jego strukturę asocjacji oraz dowiedzieć się do jakiej grupy jest zakwalifikowany dany wektor cech.

Szczegółowe wyniki klasyfikacji, obliczane są jako średnia ważona, wyznaczona na podstawie listy najbliższych sąsiadów.

Aby wykonać proces predykcji, należy podać oczekiwane wartości cech, czyli współrzędne wektora C. Jako wynik tego procesu otrzymujemy przedziały wartości współrzędnych wektorów A i B.

1 z 7

---