Bardzo ważnym aspektem eksperymentów jest sposób pomiaru jakości modeli. Większość autorów stosuje podział na zbiór treningowy (często nazywany z ang. in-sample) oraz testowy (ang. out-of-sample). W przypadku notowań giełdowych zbiór testowy jest następujący w czasie po zbiorze treningowym. Ważne są również stosowane miary jakości, które można podzielić na dwie grupy: miary klasyczne stosowane w eksploracji danych, oraz miary finansowe np. miara zysku. Miary finansowe można obliczyć, gdy przyjmie się pewną strategię inwestycyjną opartą na wskazaniach zbudowanych modeli. Strategia taka opisuje jak zastosować prognozę modelu w praktyce, czyli kiedy kupić bądź sprzedaż określoną ilości instrumentu notowanego na giełdzie. Strategii takich może być wiele, ta użyta w tej pracy zakłada możliwość zarabiania na spadkach indeksu.
Prognozowanie notowań giełdowych jest zadaniem trudnym, gdyż zachowują się one chaotycznie, zależą od bardzo wielu czynników, w tym zdarzeń losowych, jednak pokazano iż notowania te nie są błądzeniem losowym (ang. random walk) [29]. Pierwsze próby prognozy giełdy za pomocą metod uczenia maszynowego, to prognozy dokładnej wartości notowania w przyszłości za pomocą sieci neuronowych [20] [15]. Jakość takich modeli mierzona była najczęściej za pomocą błędu średniokwadratowego bądź średniego błędu bezwzględnego jak również współczynnika determinacji R2. W tej pracy wartość dokładna jednodniowej zmiany indeksu S&P500 prognozowana jest za pomocą modeli regresyjnych.
W ostatnim dziesięcioleciu można zauważyć tendencję do prognozowania jedynie kierunku zmiany wartości indeksu, a nie jego dokładnej wartości. Z punktu widzenia inwestora prognoza taka jest często wystarczająca, gdyż decyduje o możliwości osiągnięcia zysku i uniknięcia straty. Jedne z pierwszych prac w tym zakresie pochodzą z roku 1997 [44] [33], jednak ich autorzy nie używali modeli klasyfikacyjnych. Pierwsze próby zastosowania techniki klasyfikacji dla notowań giełdowych odnajdziemy w pracy [28] (analiza dyskryminacyjna Fishera, model logistyczny, probabilistyczna sieć neuronowa). Autor uzyskał wyniki rzędu 48-63% trafności klasyfikacji acc prognozując miesięczne zmiany indeksu S&P500 na 60 elementowym zbiorze testowym. Podobne techniki klasyfikacyjne wykorzystał Chen [12] dla indeksu giełdy w Tajwanie. W pracy tej odnajdziemy również wykorzystanie miary zysku finansowego, który liczony był na bazie innej strategii inwestycyjnej niż ta proponowana w tej rozprawie. Strategia nie zakładała krótkiej sprzedaży i polegała na inwestycji w indeks, gdy przewidywany był jego wzrost, oraz wycofanie się z rynku i inwestycje w bezpieczne obligacje skarbowe gdy przewidywany był jego spadek. Miara osiąganego zysku finansowego
9