DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
Ćwiczenia 6
Analiza modeli predykcyjnych
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
Ćwiczenia 6
Analiza modeli predykcyjnych
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
2
Struktura ćwiczeń:
• Łączenie modeli
• Ocena i porównanie modeli
• Scoring modelu
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
3
Określenie zbioru danych
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
4
Określenie zbioru danych – przetwarzanie decyzji
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
5
Podział zbioru danych
Zbiór CHURN1
nie ma braków
danych
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
6
Modele predykcyjne
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
7
Łączenie modeli
Jedna metoda modelowania, różne próbki
Różne metody modelowania, jeden zbiór danych
Zbiór
uczący
Próbka 1
Próbka 2
Metoda
modelowania
Model 1
Model 2
Model łączony
Zbiór
uczący
Metoda
modelowania
1
Metoda
modelowania
2
Model 1
Model 2
Model łączony
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
8
Łączenie modeli
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
9
Łączenie modeli – wyniki
Drzewo
Sieć
Model łączony
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
10
Porównanie modeli – przeciętny błąd kwadratowy (ASE)
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
11
Porównanie modeli – wyniki
Predykcja
Statystyki dopasowania na zbiorze
walidacyjnym
Wartość
Decyzje
Błędna klasyfikacja
Średni zysk/strata
Statystyka Kołmogorowa-Smirnowa
najmniejsza
największa/ najmniejsza
największa
Ranking
ROC
Współczynnik Giniego
największa
największa
Oszacowanie
Średni błąd kwadratowy
Kryterium Bayesowskie Shwartza
Logarytm funkcji wiarygodności
najmniejsza
najmniejsza
największa
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
12
Porównanie modeli – krzywa Wzrost (Lift)
• Każdej obserwacji wybrany model przydziela prawdopodobieństwo,
że zmienna celu przyjmie dla niej wartość 1.
• Zbiór obserwacji sortowany jest malejąco według tych
prawdopodobieństw.
• Otrzymany zbiór jest dzielony na grupy (po 5% całego zbioru).
• Dla każdej grupy obliczany jest stosunek odsetka zdarzeń „1” w grupie
do całkowitej proporcji „1” w zbiorze.
• Czynność ta jest powtarzana dla podpopulacji o różnych rozmiarach.
• Otrzymujemy krzywą Łączny wzrost (Cumulative Lift), która jest
miernikiem mocy predykcyjnej modelu klasyfikacyjnego.
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
13
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
14
Porównanie modeli – krzywa ROC
•
Każdej obserwacji wybrany model przydziela prawdopodobieństwo,
że zmienna celu przyjmie dla niej wartość 1.
•
Zbiór obserwacji sortowany jest malejąco według tych prawdopodobieństw.
•
Wybierana jest grupa k
% górnych obserwacji.
Wrażliwość (czułość):
liczba wartości „1” w wybranej grupie/ liczba wartości „1” w próbie
1-
swoistość (1-specyficzność):
liczba wartości „0” w wybranej grupie/ liczba wartości „0” w próbie
•
Działania powtarzane są dla różnych wartości k, a otrzymane wartości łączone
są w krzywą.
Model dobry
Model przeciętny
Model zły
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
15
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
16
Porównanie modeli – wzrost
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
17
Modelowanie
– scoring modelu
Faza uczenia
Faza predykcji
(scoringu)
Historyczne
dane do
modelowania
Model
Aktualne
dane do
predykcji
Scoring
Scoring
– metoda statystyczna przewidującą prawdopodobieństwo
wystąpienia pewnego zdarzenia w odniesieniu do klienta.
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
18
Źródło danych – nowe dane
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
19
Implementacja modelu
– nowe dane
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
20
Scoring modelu
– ocena punktowa
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
21
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
22
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
23
Eksport tabeli scoringowej
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
24
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
25
Tabela scoringowa
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
26
Zapisanie zbioru wynikowego
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
27
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
28
Zapisanie zbioru wynikowego
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
29
Ćwiczenia
1.
Dokonać połączenia modeli metodą głosowanie, na czym polegają
metody wyliczania prawdopodobieństw a posteriori: średnia i udział?
2.
Korzystając z węzła Porównanie modeli wybrać najlepszy model
drzewa decyzyjnego zbudowanego na zbiorze OSOBY.
3.
Korzystając z węzła Porównanie modeli wybrać najlepszy model
regresji logistycznej zbudowanej na zbiorze OSOBY.
4.
Korzystając z węzła Porównanie modeli wybrać najlepszy model sieci
neuronowej zbudowanej na zbiorze OSOBY.
5.
Wykonać implementację modelu regresji logistycznej dla CHURN2.
6.
Wykonać implementację modelu sieci neuronowej dla CHURN2.
DATA MINING – nr przedmiotu 233100-0997
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
dr Wioletta Grzenda
30
Dziękuję za uwagę !