Walidacja backtestu — czego dane nie mówią wprost
Backtest to symulacja strategii na danych z przeszłości. Jego wynik jest oceną hipotezy, nie gwarancją tego, co stanie się jutro. Zanim ktokolwiek zaufa krzywej kapitału z testu, warto wiedzieć, gdzie ta krzywa kłamie.
Survivorship bias
Liczymy na danych spółek, które przetrwały do dziś. Tych, które zniknęły, w zbiorze nie ma. System oparty na założeniu „mocne rosną” wygląda świetnie, dopóki testujemy go wyłącznie na ocalałych.
Przeoptymalizowanie
Im więcej parametrów dokładamy, tym lepiej system pasuje do przeszłości i tym gorzej do przyszłości. W pewnym momencie przestajemy opisywać rynek, a zaczynamy zapamiętywać szum.
Koszty i poślizg
Rzeczywisty wynik jest zawsze niższy niż teoria. Spread, prowizje, poślizg na wejściu i brak płynności w złym momencie zjadają przewagę, której w arkuszu nie widać.
Wniosek
Backtest sam w sobie nie jest dowodem. Jest narzędziem do odrzucania hipotez, nie do ich potwierdzania. To rozróżnienie decyduje o tym, czy uczymy się z danych, czy tylko utwierdzamy w błędzie.