680 Testowanie i optymalizowanie systemów transakcyjnych
znalezienie szerokich obszarów skuteczności systemu, a nie jednego tylko zestawu parametrów.
Jeśli na przykład testując system oparty na wybiciu, stwierdzamy, że najlepszą relację zysk/ryzyko osiąga się przy parametrze N równym 7, ale skuteczność spada gwałtownie dla N mniejszego od 5 i większego od 9, podczas gdy wszystkie zestawy w zakresie od N równego 25 do N równego 54 wypadały dość dobrze, rozsądniejsze jest wybranie parametru z tego drugiego zakresu. Dlaczego? Ponieważ wyjątkowa skuteczność parametru N równego 7 jest raczej specyfiką danych historycznych, która przypuszczalnie nie powtórzy się w przyszłości. Fakt, że sąsiednie wartości wypadały słabo, sugeruje, że nie ma szerszych podstaw, by ufać parametrowi N równemu 7. Natomiast szeroki zakres niezłej skuteczności w obszarze od 25 do 54 wskazuje, że jakiś zestaw ze środka tego zakresu dawałby lepsze perspektywy sukcesu.
Określenie obszarów zysku dla systemów o jednym parametrze wymaga jedynie przejrzenia kolumny liczb. W systemie o dwóch parametrach można stworzyć szereg miar skuteczności, w którym kolumny odpowiadają zwiększającym się wartościom dla pierwszego parametru, a rzędy - zwiększającym się wartościom drugiego. W ten sposób można łatwo wyszukać obszary zysku. W przypadku systemu o trzech parametrach można zastosować tę samą procedurę, jeśli jeden z parametrów przybiera niewiele alternatywnych wartości. Na przykład w systemie przecięcia średnich z regułą potwierdzenia czasowego, gdzie testowane są trzy wartości opóźnienia, można stworzyć trzy dwuwymiarowe szeregi - jeden dla każdej wartości opóźnienia. Znalezienie obszarów zysku dla bardziej skomplikowanych systemów wymagać będzie komputera.
4. Stabilność w czasie. Jak już mówiliśmy w poprzedniej części, należy się upewnić, że skuteczność w danym przedziale czasowym jest reprezentatywna dla całego okresu, a nie tylko dla kilku wyjątkowo pomyślnych momentów.
Uwzględnienie różnych miar skuteczności w procedurach optymalizacji da znacznie pełniejszy obraz, ale także oznacza poważną komplikację tego zadania. Wielu traderów może uznać, że obszerne badania skuteczności systemu są trudne do wykonania. Mogą się oni pocieszyć tym, że w porównaniach obejmujących różne zestawy parametrów dla tego samego systemu czynniki są na ogół silnie skorelowane. Zestawy parametrów z najwyższymi zyskami będą też na ogół miały najmniejsze obsunięcia kapitału. A zatem przy optymalizacji jednego systemu stosowanie miary zysku/ryzyka (na przykład wskaźnika Sharpe'a) czy nawet prostego wskaźnika zwrotu procentowego da zwykle podobne rezultaty