Wielokrotne testowanie

Im więcej hipotez sprawdzasz na tych samych danych, tym pewniej któraś wypadnie dobrze przez przypadek.

Jeśli przy jednym teście dopuszczasz 5% ryzyka fałszywego trafienia, to przy stu niezależnych testach prawie na pewno (około 99%) trafi się co najmniej jeden fałszywy pozytyw. Testy strategii zwykle nie są niezależne, więc dokładna liczba jest inna, ale kierunek ten sam: liczba prób, które poprzedziły twój najlepszy wynik, jest równie ważna jak sam wynik.