693

Testowanie a dopasowywanie 693

wskazywałem wcześniej, optymalizacja może być pomocna w określaniu obszarów słabej skuteczności parametrów, które można dzięki temu wykluczyć, wybierając odpowiedni zestaw. W niektórych systemach optymalizacja może też dostarczyć pewnych wskazówek pozytywnych przy wyznaczaniu parametrów. Chcę jednak stwierdzić, że ulepszenia wynikłe z optymalizacji mają o wiele mniejsze znaczenie, niż się powszechnie sądzi, i że traderzy oszczędzą wiele pieniędzy, jeśli przyjrzą się swoim założeniom, zamiast przyjmować je na ślepo.

TESTOWANIE A DOPASOWYWANIE

Najpoważniejszym chyba błędem popełnianym przez użytkowników systemów transakcyjnych jest zakładanie, że skuteczność zoptymalizowanego zestawu parametrów podczas testu na danych historycznych powtórzy się w przybliżeniu także w przyszłości. Niestety, takie założenia powodują, że się mocno przecenia rzeczywisty potencjał systemu. Trzeba zrozumieć, że na wahania cen wpływa bardzo wiele przypadkowych zdarzeń. Przykra prawda jest zatem taka, że to, który zestaw parametrów wypadnie najlepiej w danym okresie, jest kwestią przypadku. Prawa prawdopodobieństwa wskazują, że jeśli podda się testom dostateczną liczbę zestawów parametrów, to nawet bezsensowny system transakcyjny będzie miał kilka zestawów, które wykażą zysk. Optymalizacja polegająca na wyszukiwaniu najlepszych parametrów do minionych danych to dopasowywanie, a nie testowanie. Jak zatem można dokonać oceny systemu, skoro optymalizacja się do tego nie nadaje? Oto dwa sensowne podejścia.

Symulacja

W symulaqi system jest optymalizowany dla okresu, w którym specjalnie pominięte są ostatnie lata. Skuteczność systemu jest następnie testowana przy zastosowaniu wybranego zestawu parametrów dla kolejnych lat. Procedurę tę można powtarzać kilka razy.

Na przykład wyniki systemu transakcyjnego dla okresu testowego 1985-1992 można wykorzystać dla wyznaczenia najlepszego zestawu parametrów, które można następnie wykorzystać dla lat 1993-1994. Potem wyniki systemu dla okresu 1987-1994 można wykorzystać do określenia najlepszych parametrów, które można później przetestować dla lat 1997-1998.

Zauważmy, że unika się tu błędu dopasowywania rezultatów, ponieważ zestawy parametrów wykorzystywane do badania skuteczności w danym okresie wybierane są wyłącznie na podstawie wcześniejszych, a nie bieżących danych. W pewnym sensie metoda ta naśladuje rzeczywistość,