694

694 Testowanie i optymalizowanie systemów transakcyjnych to znaczy trzeba wybrać zestaw parametrów na podstawie minionych danych. Symulacja i optymalizacja nie mogą na siebie zachodzić. Symulacje przeprowadzane w tym samym okresie co optymalizacja są bezwartościowe.

Przeciętna skuteczność zestawu parametrów

Ustalenie przeciętnej skuteczności zestawu parametrów wymaga określenia pełnej listy wszystkich zestawów parametrów, które chcemy przetestować przed zastosowaniem jakichkolwiek symulacji. Następnie przeprowadza się symulacje dla wszystkich wybranych zestawów parametrów, a przeciętna ze wszystkich testowanych zestawów wykorzystywana jest jako wskaźnik potencjalnej skuteczności systemu. Metoda ta jest sensowna, ponieważ zawsze można wybrać parametr z szerokiego zakresu wartości na chybił trafił. Jeśli dokona się odpowiednio dużo takich przypadkowych wyborów, ostateczny wynik będzie średnią. Ważne jest, aby ta średnia obliczona była ze wszystkich zestawów, a nie tylko tych, które przyniosły zysk. Zauważmy, że trader mógłby wybrać zoptymalizowany zestaw parametrów (zamiast przypadkowych), ale ocena skuteczności systemu powinna być oparta na średniej dla wszystkich testowanych zestawów.

Metoda symulacji jest chyba najbliższa rzeczywistości rynkowej. Ale metoda posługiwania się przeciętną skutecznością zestawu parametrów jest równie ostrożna i nie wymaga tak wielu obliczeń. Oba podejścia są uprawnionymi procedurami testowania systemu.

Jedno ostrzeżenie: w reklamach różnych systemów termin „rezultaty symulowane" często używany jest jako określenie zastępcze dla rezultatów optymalizowanych. Jeśli tak jest, to wartość takich rezultatów powinna się równać ilości pieniędzy zainwestowanych w ten system, czyli zeru. Nadużywanie i zniekształcanie symulowanych rezultatów to kolejny temat naszych rozważań.

PRAWDA O SYMULOWANYCH REZULTATACH

Wprawdzie przydatność optymalizacji dla poprawy przyszłej skuteczności systemu jest kwestią otwartą, ale nie ma żadnych wątpliwości, że stosowanie optymalizowanych rezultatów bardzo poważnie tę skuteczność zniekształca. Dzieje się tak, ponieważ korelacja pomiędzy najlepszymi parametrami danego systemu dla jednego okresu i najlepszymi parametrami w kolejnym okresie jest bardzo słaba bądź nie ma jej w ogóle. Dlatego zakładanie, że można osiągnąć skuteczność sugerowaną przez najlepsze parametry historyczne, jest całkowicie nierealistyczne.