Glosariusz
Pojęcia z warsztatu badawczego nad rynkiem. Każde hasło zaczyna się od bezpośredniej odpowiedzi.
-
Backtest
Symulacja strategii na danych historycznych: jak zachowałaby się w przeszłości, gdybyś handlował według jej reguł.
-
Fałszywy pozytyw
Wynik testu wskazujący efekt lub przewagę, której w rzeczywistości nie ma.
-
Look-ahead bias
Zaglądanie w przyszłość: strategia w teście korzysta z informacji, której w danym momencie realnie by nie miała.
-
Overfitting backtestu
Dopasowanie strategii do przypadkowych cech próby zamiast do relacji, która utrzymuje się poza nią.
-
PBO (prawdopodobieństwo overfittingu backtestu)
Liczba mówiąca, jak często konfiguracja wybrana jako najlepsza na danych treningowych wypada poniżej mediany na danych testowych.
-
Prawo Goodharta
Kiedy miara staje się celem, przestaje być dobrą miarą.
-
Próba treningowa / próba testowa
Podział danych na dwie części: na treningowej dobierasz parametry strategii, na testowej sprawdzasz zachowanie na danych nieoglądanych przy strojeniu.
-
Przeciek danych
Informacja z próby testowej przecieka do treningu i sztucznie podbija wynik.
-
Walidacja krzyżowa (purged + embargo)
Wariant walidacji krzyżowej dla danych zależnych w czasie: do zwykłego podziału na części dokłada purging i embargo, żeby zamknąć przeciek.
-
Walk-forward
Walidacja krocząca: stroisz strategię na oknie przeszłości, testujesz na kolejnym kawałku, przesuwasz okno do przodu i powtarzasz.
-
Wielokrotne testowanie
Im więcej hipotez sprawdzasz na tych samych danych, tym pewniej któraś wypadnie dobrze przez przypadek.
-
Wskaźnik Sharpe'a i jego pułapka
Sharpe to średnia nadwyżkowa stopa zwrotu (ponad stopę wolną od ryzyka) podzielona przez odchylenie standardowe tej nadwyżki.