Tworzenie reguł asocjacyjnych – podstawy

Przygotowanie studentów

Studenci powinni być przygotowani z następujących zagadnień

–

reguły asocjacyjne

–

interpretacja reguł asocjacyjnych

–

miary reguł asocjacyjnych

–

wyszukiwanie reguł asocjacyjnych

–

zastosowanie reguł asocjacyjnych

–

zbiory częste (large itemsets)

Do wykonania ćwiczenia konieczna jest podstawowa umiejętność programowania w języku Java.

Instrukcja dla studentów

Rozdziały „Budowa prostego modelu” oraz „Wykorzystanie reguł asocjacyjnych” opisują szczegóły
budowy oraz wykorzystania modelu reguł asocjacyjnych przy pomocy biblioteki Xelopes. Do wykonania
ćwiczenia należy wykorzystać dostarczony przez prowadzącego szkielet projektu aplikacji oraz szkielety
odpowiednich klas.
Wszystkie pliki źródłowe wykorzystywane podczas ćwiczenia zapisane są w podkatalogu src katalogu
zawierającego projekt. Szkielety kolejnych klas znajdują się w pakiecie:
pl.edu.prz.kia.eksploracja.
Aby uruchomić kod właściwej klasy należy we właściwościach projektu ustawić ją jako klasę główną
(Main Class). Aby to zrobić należy na liście projektów kliknąć prawym klawiszem na nazwie
projektu, wybrać: Properties > Run, następnie obok Main Class kliknąć Browse i wybrać z
listy właściwą klasę.
Poniżej znajdują się kolejne zadania które należy wykonać w ramach ćwiczenia.
I. Budowa modelu reguł asocjacyjnych

1. Na podstawie opisu w rozdziale „Budowa prostego modelu” oraz szkieletu klasy

AssociationRulesBuild utwórz aplikację służącą do budowania prostego modelu reguł
asocjacyjnych na podstawie danych z pliku: data/arff/transact.arff.

2. Modyfikując parametry support i confidence zaobserwuj zmiany ilości generowanych reguł

asocjacyjnych.

3. Obejrzyj zawartość pliku danych data/arff/transact.arff oraz pliku wynikowego

data/pmml/AssociationRulesModel.xml

4. Zmodyfikuj aplikację tak, żeby reguły asocjacyjne zawierały nazwy produktów a nie ich

identyfikatory (numery).

Eksploracja danych – laboratorium

1

II. Wykorzystanie modelu reguł asocjacyjnych

1. Na podstawie opisu w rozdziale „Wykorzystanie reguł asocjacyjnych” oraz szkieletu klasy

AssociationRulesApplySimple napisz prostą aplikację pozwalającą uzyskać
rekomendację na podstawie zbudowanego wcześniej modelu

2. Przetestuj napisaną aplikację dla zbudowanego wcześniej modelu oraz różnych danych

wejściowych.

3. Wygeneruj kilka różnych modeli danych przy pomocy aplikacji napisanej w wcześniej i przetestuj

na nich napisaną aplikację dla różnych danych wejściowych.

Budowa prostego modelu

Pierwszy model reguł asocjacyjnych należy zbudować dla danych zawartych w pliku:
data/arff/transact.arff. Plik ten zawiera dane na temat zawartości „koszyka zakupów” dla
kilku transakcji przeprowadzonych w supermarkecie. Każdy rekord zawiera informacje na temat jednego
produktu zakupionego podczas którejś z opisywanych transakcji. Informacje zawarte w pliku to:

●

transactId – identyfikator transakcji opisywanej przez dany rekord

●

itemId – identyfikator (numer) produktu

●

itemName – nazwa (tekstowa) produktu

●

itemPrice – cena produktu (nie będzie wykorzystywana w tym przykładzie)

Poniżej znajduje się opis kolejnych kroków jakie należy wykonać, w celu zbudowania modelu reguł
asocjacyjnych przy pomocy biblioteki Xelopes.

1. Otwarcie pliku z danymi
Plik data/arff/transact.arff zapisany jest w formacie ARFF, do jego wczytania
wykorzystujemy klasę: MiningArffStream.

// Open data source and get metadata:

MiningInputStream inputData = new MiningArffStream( "data/arff/transact.arff" );

Po wczytaniu pliku pobieramy obiekt opisujący meta dane wczytanego pliku, czyli informacje o tym jakie
dane zawierają wczytane rekordy (np. nazwy pól pobranych z bazy SQL). Informacja ta jest konieczna
do skonfigurowania algorytmu budowania modelu.

MiningDataSpecification metaData = inputData.getMetaData();

2. Pobranie atrybutów transakcji
Algorytm tworzenia modelu reguł asocjacyjnych musi otrzymać jako parametry informację o atrybutach
opisujących:

●

identyfikator transakcji

●

identyfikator produktu

Te dwa atrybuty pobieramy z obiektu metaData na podstawie ich nazw. Przykład:

// Identyfikator produktu
CategoricalAttribute categoryItemId =

(CategoricalAttribute)metaData.getMiningAttribute( "itemId" );

// identyfikator transakcji

Eksploracja danych – laboratorium

2

CategoricalAttribute categoryTransactId =

(CategoricalAttribute)metaData.getMiningAttribute( "transactId" );

3. Konfiguracja algorytmu
Teraz możliwe jest utworzenie konfiguracji algorytmu, którego użyjemy do budowy modelu reguł
asocjacyjnych. Tworzymy obiekt miningSettings klasy AssociationRulesSettings i
podajemy mu informację na temat meta danych.

AssociationRulesSettings miningSettings = new AssociationRulesSettings();

miningSettings.setDataSpecification( metaData );

Analogicznie podajemy też informacje na temat tego które pole w każdym rekordzie odpowiada
identyfikatorowi transakcji, a które identyfikatorowi produktu. Wykorzystujemy do tego utworzone
wcześniej obiekty klasy CategoricalAttribute.

miningSettings.setItemId( categoryItemId );

miningSettings.setTransactionId( categoryTransactId );

Następnie za pomocą metod:

●

miningSettings.setMinimumSupport()

●

miningSettings.setMinimumConfidence()

pobierających parametry typu double należy skonfigurować minimalną wartość parametrów support i
confidence dla reguł które mają pojawić się w modelu.
Po ustawieniu wszystkich wymaganych parametrów należy zweryfikować ustawienia wywołując metodę:

miningSettings.verifySettings();

4. Utworzenie obiektu algorytmu
Informacje potrzebne do utworzenia nowego obiektu algorytmu budowania modelu reguł asocjacyjnych
pobieramy z pliku algorithms.xml. Plik ten opisuje algorytmy, ich domyślne parametry oraz
implementujące je klasy. Informacje te wczytujemy do obiektu klasy:
MiningAlgorithmSpecification. W pierwszym przykładzie użyjemy algorytmu
AprioriSimple.

MiningAlgorithmSpecification miningAlgorithmSpecification =
MiningAlgorithmSpecification.getMiningAlgorithmSpecification( "AprioriSimple" );

if( miningAlgorithmSpecification == null )

throw new MiningException( "Can't find application AprioriSimple." );

Informacje na temat ustawionych parametrów specyficznych dla wybranego algorytmu możemy
wyświetlić:

GeneralUtils.displayMiningAlgSpecParameters(miningAlgorithmSpecification);

Parametry te możemy zmienić za pomocą metory

miningAlgorithmSpecification.setMAPValue(nazwaParametru,wartoścParametru);

Obydwa parametry metody są typu string. Dla algorytmu AprioriSimple możemy ustawić parametry:
minimumItemSize i maximumItemSize definiujące minimalny i maksymalny rozmiar zbiorów
częstych (ang. large itemsets).
Na podstawie wczytanej specyfikacji tworzymy obiekt algorytmu:

String className = miningAlgorithmSpecification.getClassname();

Eksploracja danych – laboratorium

3

if( className == null )

throw new MiningException( "classname attribute expected." );

// Create algorithm object with default values:
AssociationRulesAlgorithm algorithm = (AssociationRulesAlgorithm)

initAlgorithm(className);

Metoda initAlgorithm jest zaimplementowana w klasie AssociationRulesBuildBasics po
której dziedziczy implementowana przez nas klasa. Metoda ta zwyczajnie tworzy nowy obiekt na na
podstawie nazwy klasy oraz obsługuje mogące się pojawić wyjątki.

5. Konfiguracja algorytmu
Wszystkie wykonane wcześniej ustawienia podajemy nowo utworzonemu algorytmowi i weryfikujemy
całość:

algorithm.setMiningInputStream( inputData );
algorithm.setMiningSettings( miningSettings );

algorithm.setMiningAlgorithmSpecification( miningAlgorithmSpecification );
algorithm.verify();

6. Budowa modelu
Aby utworzyć nowy model reguł asocjacyjnych należy na jego obiekcie wywołać metodę
buildModel(). Zwracającą obiekt klasy MiningModel zawierający znalezione reguły asocjacyjne.
Po utworzeniu modelu możemy też pobrać czas jaki zajęło jego budowanie.

MiningModel model = algorithm.buildModel();

System.out.println("calculation time [s]: " +

algorithm.getTimeSpentToBuildModel());

7. Wyniki
Otrzymane reguły asocjacyjne oraz odnalezione zbiory częste można wyświetlić za pomocą metody
zaimplementowanej w klasie z której dziedziczy implementowany przykład:

showRules( (AssociationRulesMiningModel) model );

Wyniki te można też zapisać do pliku pmml, aby możliwe było późniejsze wykorzystanie
wygenerowanego modelu w innych aplikacjach, na przykład generujących rekomendację (ang.
recommendation engine).

FileWriter writer = new FileWriter("data/pmml/AssociationRulesModel.xml");
model.writePmml(writer);

Wykorzystanie reguł asocjacyjnych

Model reguł asocjacyjnych zbudowany na podstawie pewnych danych treningowych można potem
wielokrotnie wykorzystywać. Jednym z możliwych zastosowań jest tzw. recommendation engine
pozwalający na wykorzystanie modelu w celu uzyskania rekomendacji na podstawie pewnych przesłanek.
Biblioteka Xelopes pozwala w prosty sposób zaimplementować taką funkcjonalność. Poniżej znajduje się
opis pozwalający napisać prostą aplikację podającą rekomendację na podstawie zbudowanego wcześniej
modelu oraz podanych przesłanek.

Eksploracja danych – laboratorium

4

1. Wczytanie modelu z pliku
Najpierw tworzymy nowy obiekt modelu reguł asocjacyjnych, a następnie wczytujemy z pliku pmml
utworzony wcześniej model.

MiningModel model = new AssociationRulesMiningModel();

FileReader reader = new FileReader("data/pmml/AssociationRulesModel.xml");
model.readPmml(reader);

2. Odczytanie ustawień
Kolejnym krokiem jest odczytanie ustawień modelu zawartych w obiekcie klasy
AssociationRulesSettings oraz pobranie atrybuty będącego identyfikatorem produktu (z
koszyka zakupów).

AssociationRulesSettings miningSettings =

(AssociationRulesSettings) model.getMiningSettings();

CategoricalAttribute categoryItemId =

(CategoricalAttribute) miningSettings.getItemId();

3. Przygotowanie modelu
Przed wykorzystaniem modelu do otrzymania rekomendacji konieczne jest odpowiednie uporządkowanie
jego reguł asocjacyjnych za pomocą metody buildRecommendations().

((AssociationRulesMiningModel) model).buildRecommendations();

4. Przygotowanie danych wejściowych
Kolejnym krokiem jest przygotowanie danych wejściowych (przesłanek) na podstawie których chcemy
uzyskać rekomendację.
Najpierw tworzymy nowy zbiór elementów (produktów):

ItemSet is = new ItemSet();

Następnie dodajemy do niego identyfikatory produktów, w tym przypadku będą to produkty o
identyfikatorach 2 i 3:

is.addItem( (int) categoryItemId.getKey( new Category("2") ));
is.addItem( (int) categoryItemId.getKey( new Category("3") ));

5. Uzyskanie rekomendacji
Aby uzyskać rekomendację dla wybranego zbioru produktów należy zastosować model asocjacyjny do
utworzonego zbioru danych. Służy do tego metoda applyModel() zwracająca zbiór reguł składający
się z jednej reguły najlepiej (pod względem parametrów support i confidence) pasującej do rozważanego
zbioru danych wejściowych (przesłanek), lub null jeśli takiej reguły nie znaleziono.

RuleSet rs = (RuleSet) ((AssociationRulesMiningModel) model).applyModel(is);

6. Wyniki
Jeśli zmienna rs nie jest równa null, to znaczy że otrzymaliśmy rekomendację i możemy ją wyświetlić.
Można to wykonać przy pomocy poniższego kodu wyświetlającego poszczególne parametry uzyskanej

Eksploracja danych – laboratorium

5

rekomendacji.

System.out.println("Przesłanka : " + rs.getPremise().toString());

System.out.println("Konkluzja : " + rs.getConclusion().toString());
System.out.println("Support : " + rs.getSupport());

System.out.println("Confidence : " + rs.getConfidence());

Można też wykorzystać metodę itemSetToString() zaimplementowaną już w używanej klasie aby
zamienić na tekst przesłankę oraz konkluzję otrzymanej reguły i wyświetlić je w innym formacie:

String prem = itemSetToString(rs.getPremise(), categoryItemId);
String conc = itemSetToString(rs.getConclusion(), categoryItemId);

System.out.println("\nRekomendacja jako String : ");
System.out.println(prem+" => "+conc);

Jeśli otrzymaliśmy regułę postaci:

2, 3 => 5

To oznacza, że do koszyka zakupów zawierającego już produkty 2 i 3 produkt 5 trafi z
prawdopodobieństwem określonym parametrem confidence tej reguły.

Eksploracja danych – laboratorium

6