— HO: Jakość modelu nie jest znacząco lepsza od strategii losowej. miara(model) < c
— HI: Jakość modelu jest znacząco lepsza od strategii losowej. miara(model) > c Zestawienie trzech najbardziej popularnych poziomów istotności i odpowiadających im wartości krytycznych poszczególnych miar jakości zawiera tabela 4. W przypadku miary ryzyka finansowego mdd im jest ono mniejsze tym lepiej, czyli odrzucimy HO gdy mdd < c (znak odwrotny niż dla pozostałych miar).
Poziom istotności |
acc |
bace |
zj srok |
mdd |
90% |
52,80 |
52,88 |
16,35 |
15,69 |
95% |
53,60 |
53,69 |
20,90 |
13,71 |
99% |
55,20 |
55,22 |
29,49 |
10,95 |
średnia |
50,00 |
50,00 |
-0,02 |
29,82 |
mediana |
50,00 |
50,00 |
-0,03 |
27,16 |
Tablica 4. Wartości krytyczne różnych miar jakości modeli dla trzech wybranych poziomów istotności otrzymane z miliona symulacji strategii losowej na zbiorze testowym. Źródło: opracowanie własne.
1000000 symulacji Monte Carlo
Rysunek 3. Histogram miary zysku finansowego z/srok otrzymany dla miliona symulacji strategii losowej wykonanych na zbiorze testowym.
W jednym z przeprowadzonych eksperymentów zbiór danych został podzielony na zbiór treningowy złożony z pierwszych 1000 obserwacji oraz zbiór testowy z 500 obserwacji
16