DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

Ćwiczenia 4

Zastosowania regresji logistycznej

w data mining

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

2

Struktura ćwiczeń:

• Przygotowanie danych wejściowych

• Imputacja danych

• Wybór zmiennych do modelu

• Transformacja zmiennych

• Budowa modelu regresji logistycznej

• Budowa modelu regresji liniowej

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

3

Modele regresji

Modele regresji wyjaśniają w sposób analityczny

kształtowanie się wartości jednej zmiennej

objaśnianej pod wpływem innych zmiennych

objaśniających (niezależnych).

Regresja liniowa

(Linear regression)

• ilościowa zmienna celu

Regresja logistyczna

(Logistic regression)

• jakościowa zmienna celu

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

4

Określenie zbioru danych do modelowania

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

5

Przetwarzanie decyzji

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

6

Podział zbioru danych

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

7

Imputacja danych

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

8

Analiza korelacji zmiennych z wykorzystaniem węzła Kod SAS-owy

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

9

Analiza korelacji zmiennych z wykorzystaniem węzła Kod SAS-owy

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

10

Wybór zmiennych do modelu regresji

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

11

Wybór zmiennych do modelu regresji – wyniki

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

12

Przekształcenia zmiennych do modelu regresji

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

13

Przekształcenia zmiennych - wykresy

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

14

Modele regresji w SAS Enterprise Miner

• Binarna zmienna celu

• Porządkowa zmienna celu

• Nominalna zmienna celu

• Ciągła zmienna celu

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

15

Model regresji logistycznej

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

16

Model regresji logistycznej

– dobór zmiennych

objaśniających do modelu

• Metoda eliminacji (Backward elimination procedure)
• Metoda dołączania (Forward selection procedure)
• Metoda regresji krokowej (Stepwise procedure)
• Brak – wszystkie zmienne zostaną włączone do modelu

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

17

Model regresji logistycznej

– wyniki

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

18

Model regresji logistycznej

– wyniki

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

19

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

20

Kryteria wyboru modelu

•

Kryterium informacyjne Akaikego

– Akaike Information Criterion (AIC)

•

Kryterium Bayesowskie Shwartza

– Shwarz Bayesian Criterion (SBC)

•

Błąd podczas walidacji – Validation Error (binarna zmienna celu)

•

Błędne zakwalifikowanie podczas walidacji – Validation Misclassification (binarna
zmienna celu)

•

Błąd podczas walidacji krzyżowej– Cross Validation Error (obliczane na podstawie

zbioru uczącego)

•

Błędne zakwalifikowanie podczas walidacji krzyżowej – Cross Validation
Misclassification

(obliczane na podstawie zbioru uczącego)

•

Zysk/strata podczas walidacji

– Validation Profit/Loss (obliczane na podstawie

zbioru walidacyjnego, wymaga podania macierzy zysku)

•

Zysk/strata

– Profit/Loss (obliczane na podstawie zbioru uczącego, wymaga

podania macierzy zysku)

•

Zysk/strata podczas walidacji krzyżowej – Cross Validation Profit/Loss

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

21

Modele regresji logistycznej z uwzględnieniem transformacji zmiennych

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

22

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

23

Modele regresji logistycznej z uwzględnieniem transformacji zmiennych

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

24

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

25

Modele regresji logistycznej z uwzględnieniem transformacji zmiennych

– wyniki

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

26

Modele regresji logistycznej bez transformacji zmiennych

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

27

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

28

Modele regresji logistycznej bez transformacji zmiennych

– wyniki

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

29

Modele regresji logistycznej bez transformacji zmiennych

– interpretacja wyników





 

p

k

x

x

x

P

logit

-

2

1

e

1

1

,

,

,

|

1

Kom









 

k

k

x

x

x

p





















2

2

1

1

0

logit

Np. Estimate=-

0.0477<0, co oznacza, że prawdopodobieństwo zdarzenia,

że zmienna Kom przyjmie wartość 1 maleje wraz ze wzrostem wieku.

Kodowanie zmiennych objaśniających skokowych:

Odchylenie GLM

x

A

B

A

1

0

B

0

1

C

-1

-1

x

A

B

C

A

1

0

0

B

0

1

0

C

0

0

1

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

30

Modele regresji logistycznej bez transformacji zmiennych

– wyniki i ich interpretacja

Uzyskany wynik oznacza, że prawdopodobieństwo
przyjęcia przez zmienną objaśnianą kom wartości 1 dla
respondentów z wykształceniem wyższym (D4_11=1)
jest o 20% większe niż dla respondentów bez
wykształcenia (D4_11=8) .

Natomiast dla osób z wykształceniem gimnazjalnym
(D4_11=6) jest 2.985 razy większe niż dla osób bez
wykształcenia.

OR dla wieku (wyrażonego w latach) wynosi 0.953,
co oznacza, że wraz ze wzrostem wieku o jedną
jednostkę (1 rok), szanse na posiadanie komputera
maleją o (1-0.953)*100%=4.7%.

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

31

Regresja wieloraka

– ciągła zmienna celu

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

32

Wybór zmiennych do modelu regresji wielorakiej

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

33

Model regresji wielorakiej

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

34

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

35

Model regresji wielorakiej

– interakcje, regresja wielomianowa

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

36

Model regresji wielorakiej

– interakcje, regresja wielomianowa

Statystyki oceny modelu

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

37

Ćwiczenia

1.

Zbudować najlepszy (uwzględniając odpowiednie miary) model
regresji logistycznej na zbiorze CHURN1 (zmienna celu: churn).
Należy skorzystać z tego samego zbioru danych, który został użyty
w budowie modelu drzew decyzyjnych.

2.

Jaka jest skuteczność klasyfikacji i błąd średniokwadratowy modelu
na próbie walidacyjnej?

3.

Jakie zmienne objaśniające zostały uwzględnione w modelu?

DATA MINING – nr przedmiotu 233100-0997

Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH

dr Wioletta Grzenda

38

Dziękuję za uwagę !