Recenzja książki

Reinforcement Learning: An Introduction

Richard S. Sutton, Andrew G. Barto · 2018 · MIT Press · recenzja 5 sierpnia 2026

To kanon uczenia ze wzmocnieniem (reinforcement learning, RL) spisany przez ludzi, którzy tę dziedzinę zbudowali, a zarazem książka, w której słowo „finanse” pada w zasadzie raz, w wyliczance obok długości życia, wyników wyborów i pogody. Trzymamy ją w warsztacie właśnie dlatego. Zanim cokolwiek uczącego się dopuścimy u nas do decyzji o wielkości pozycji albo o momencie wyjścia, chcemy rozumieć, czym jest nagroda, czym stan i dlaczego polityka optymalna bywa ideałem, a nie celem projektu. Sutton i Barto dają ten język w postaci źródłowej, bez pośrednika, który przy okazji sprzedaje kurs.

Nagroda jest całym projektem

Definicja otwierająca całą książkę mieści się w dwóch zdaniach i warto ją przeczytać powoli, bo połowa nieporozumień wokół „sztucznej inteligencji na giełdzie” bierze się z tego, że ktoś ich nigdy nie przeczytał:

Reinforcement learning is learning what to do—how to map situations to actions—so as to maximize a numerical reward signal. The learner is not told which actions to take, but instead must discover which actions yield the most reward by trying them.

Sutton i Barto, Rozdział 1, s. 1

Program nie dostaje etykiety „to był dobry ruch”. Dostaje liczbę i sam musi dojść, co ją podnosi. Część konsekwencji jego decyzji ujawnia się dopiero po czasie, co autorzy nazywają opóźnioną nagrodą i co każdy, kto siedział nad otwartą pozycją, rozumie bez tłumaczenia. Brzmi to jak opis handlu, i to skojarzenie jest trafne, tylko prowadzi w miejsce, którego większość kursów nie pokazuje. Skoro cała nauka jest napędzana jedną liczbą, to projekt tej liczby jest decyzją pierwszego rzędu, a nie technicznym szczegółem, który się ustali na końcu.

Autorzy stawiają w tej sprawie zdanie tak twarde, że u nas wisi ono nad każdą rozmową o warstwie decyzyjnej:

The reward signal is your way of communicating to the agent what you want achieved, not how you want it achieved.

Sutton i Barto, Rozdział 3, s. 54

Ilustracja jest szachowa i celowo prostacka. Jeśli nagrodzisz program za bicie figur zamiast za wygraną partię, on nauczy się bić figury, także wtedy, gdy oznacza to przegraną. Przełożenie na warsztat jest bezpośrednie i mało przyjemne: nagroda pomocnicza, która przesuwa optimum, jest w istocie naszą prywatną teorią rynku przemyconą do środka pod pozorem techniki. Nagradzasz wysoką zmienność, dostaniesz kolekcjonera zmienności. Nagradzasz liczbę transakcji, dostaniesz hiperaktywnego gracza, który spali konto na prowizjach, zanim ktokolwiek zdąży sprawdzić jego skuteczność. Teoria zna warianty kształtowania nagrody, które optimum zostawiają na miejscu, tylko że to trzeba wykazać, a nie założyć. To praktyczna odmiana prawa Goodharta, z tą różnicą, że miara potrafi się tu popsuć szybciej, niż zdąży to pokazać walidacja, bo optymalizator nie ma żadnego powodu, by wybrać drogę, którą mieliśmy na myśli, skoro istnieje krótsza.

Optimum jest ideałem, nie celem

Rozdział trzeci zawiera zdanie, które dla nas okazało się ważniejsze niż cała matematyka wokół niego:

A well-defined notion of optimality organizes the approach to learning we describe in this book and provides a way to understand the theoretical properties of various learning algorithms, but it is an ideal that agents can only approximate.

Sutton i Barto, Rozdział 3, s. 67

Autorzy dopowiadają to z rozbrajającą prostotą, wskazując, że szachy są znikomym wycinkiem ludzkiego doświadczenia, a mimo to wielkie, projektowane pod ten cel komputery wciąż nie potrafią policzyć w nich ruchu optymalnego. Rynek nie jest planszą o skończonej liczbie pól. Jego reguły nie są dane z góry i zmieniają się w czasie, więc jeżeli optimum jest nieosiągalne tam, gdzie wszystko jest policzalne, to twierdzenie, że znaleźliśmy optymalną strategię na kontrakcie MES (Micro E-mini S&P 500, na którym pracujemy), przestaje być ambitne i staje się po prostu niepoważne.

Dla nas ta jedna linijka przestawiła kryterium sukcesu. Nie szukamy najlepszej możliwej polityki, bo takiej nie znajdziemy i nie umielibyśmy nawet sprawdzić, że ją mamy. Szukamy przybliżenia, o którym potrafimy powiedzieć, jak daleko stoi od przypadku, ile kosztuje po prowizjach i poślizgu i czy trzyma się na danych, których nie widziało podczas dopasowywania. Różnica wygląda na filozoficzną, a jest bardzo praktyczna, bo zmienia moment, w którym wolno ogłosić wynik. Nie wtedy, gdy krzywa wygląda pięknie, tylko wtedy, gdy przewaga przeżyła kontakt z kosztami i z próbą spoza okna dopasowania.

Pułapka maksimum

Najbardziej użyteczne ostrzeżenie tej książki dla praktyka nie mówi o rynku ani słowa i siedzi w rozdziale o uczeniu metodą różnic czasowych:

As we discussed above, there will be a positive maximization bias if we use the maximum of the estimates as an estimate of the maximum of the true values.

Sutton i Barto, Rozdział 6, s. 135

Mechanizm jest banalny i właśnie dlatego groźny. Mamy kilka wariantów, każdy oceniony na hałaśliwej próbce, i bierzemy ten o najwyższym oszacowaniu, po czym to najwyższe oszacowanie traktujemy jako oczekiwaną wartość wybranego wariantu, tyle że wybraliśmy nie tyle najlepszy wariant, ile ten, któremu najbardziej sprzyjał szum, więc razem z nim wybraliśmy jego szczęście, a szczęście się nie powtarza. Sutton i Barto pokazują to na przykładzie tak małym, że mieści się w jednym rysunku, i podają lekarstwo: prowadź dwa odrębne oszacowania, jednym wybieraj akcję, drugim ją wyceniaj.

Kto testował dwadzieścia zestawów parametrów i wziął ten o najwyższym wyniku, wpadł w pułapkę pokrewną, choć nie tę samą, bo selekcja premiuje tam dodatni błąd oszacowania. My opisujemy ją językiem wielokrotnego testowania i fałszywego pozytywu, a Sutton i Barto pokazują jej szczególną postać wewnątrz algorytmu, w miejscu, gdzie te same oszacowania służą naraz do wyboru akcji i do jej wyceny w następnym kroku. Formalizacje są różne i lekarstwa też, wspólny zostaje rachunek: im więcej wariantów przymierzamy i im krótsza próbka, tym większa część zwycięskiego wyniku jest zwykłym szczęściem.

Finanse w jednym zdaniu

Miejsce, w którym ta książka wprost dotyka naszej dziedziny, jest jedno i mieści się w wyliczance:

For example, TD methods may be relevant to predicting financial data, life spans, election outcomes, weather patterns, animal behavior, demands on power stations, or customer purchases.

Sutton i Barto, Rozdział 6, s. 138

Dane finansowe stoją tu obok długości życia, pogody i zapotrzebowania elektrowni, w zdaniu, które ma pokazać ogólność metody, a nie zachęcić kogokolwiek do handlu. Rozdział z przykładami zastosowań też nie zawiera ani jednego przypadku rynkowego; są tam tryktrak, sterowanie pamięcią, gry Atari, Go i personalizacja serwisów internetowych. Dla czytelnika szukającego przepisu to rozczarowanie, dla nas zaleta. Autorzy nie naginają wykładu pod obietnicę rynkową, więc nie mają też powodu, by wygładzać miejsca, w których metoda zawodzi.

Jak tego używamy

Nasz warsztat stoi dziś na pomiarach: koszty w jednostkach R, jednoznaczne definicje setupów, uczciwy podział danych. Uczenie ze wzmocnieniem jest u nas etapem późniejszym, tym, w którym system miałby wspierać decyzje o wielkości pozycji i o momencie wyjścia, a nie sam wskazywać wejścia. Trzy rzeczy bierzemy stąd jednak od razu, na długo przed jakąkolwiek implementacją.

Pierwsza dotyczy nagrody. U nas punktem wyjścia jest wynik transakcji po kosztach, wyrażony w jednostkach R, a wszystko inne, co lubimy mierzyć, zostaje na razie miarą pomocniczą i nie wchodzi do definicji celu, choćby bardzo obiecywało szybszą naukę. Każdy dodatkowy składnik nagrody traktujemy jako jawne założenie projektowe i sprawdzamy, czy nie przesuwa celu, który chcieliśmy zadać. Druga jest o ambicji. Celem jest przybliżenie z policzalną odległością od przypadku, nie polityka optymalna, więc każdy eksperyment kończy się liczbą po kosztach i sprawdzeniem na oknie, którego nie dotykaliśmy podczas dopasowania. Trzecia zmienia kolejność algorytmów, od których zaczniemy. Najprostsze podejście oparte na wartościach akcji, czyli to, od którego zaczyna większość poradników o handlu, ma wbudowane obciążenie maksymalizacji akurat w tym miejscu, w którym rynek jest najbardziej hałaśliwy, więc dla metod opartych na wartościach akcji sprawdzimy wariant rozdzielający wybór od wyceny, a metody gradientu polityki ocenimy osobno, tam gdzie decyzję wygodnie modelować jako ciągłą.

Czytamy ją wybiórczo i bez wyrzutów sumienia. Rozdział trzeci daje ramę problemu, szósty różnice czasowe wraz z ostrzeżeniem o obciążeniu maksymalizacji, trzynasty gradient polityki. Ten ostatni bierzemy pod uwagę tam, gdzie decyzję wygodnie modelować jako ciągłą, bo wielkość pozycji da się wyrazić jako ułamek kapitału, choć sama egzekucja na MES odbywa się w całych kontraktach i to ograniczenie zostaje. Reszta, w tym rozdziały o psychologii i neuronauce, jest znakomita i leży poza naszą drogą.

Gdzie ta książka pęka

Pierwsze pęknięcie jest oczywiste i autorzy nigdy go nie ukrywali: to nie jest pozycja o rynkach, więc odległość od tych stron do działającego systemu transakcyjnego mierzy się w latach pracy, a nie w weekendach. Nie ma tu kosztów, arkusza zleceń, poślizgu, danych ani jednej linijki kodu wykonywalnego; są pseudokody w ramkach, które trzeba samemu przenieść na środowisko, dane i egzekucję.

Drugie pęknięcie dotyczy proporcji. Obszerna pierwsza część opisuje metody tablicowe, czyli takie, w których wartość każdego stanu albo pary stan-akcja mieszka w osobnej komórce tabeli, a praktyk rynkowy nie znajdzie się w takim świecie ani przez chwilę, bo jego stan to zestaw wielkości ciągłych. Autorzy uzasadniają tę kolejność dydaktycznie i mają rację, tylko trzeba wiedzieć, że fragment najbardziej dla nas użyteczny zaczyna się dopiero za tą częścią.

Trzecie pęknięcie jest kwestią punktu odcięcia. Wydanie drugie pochodzi z 2018 roku i nie obejmuje dużej części praktyki, z którą czytelnik zetknie się dzisiaj: rozwoju głębokich metod aktora i krytyka, który poszedł znacznie dalej niż zakres podręcznika, uczenia na zebranych wcześniej danych bez interakcji ze środowiskiem, dostrajania modeli językowych sygnałem preferencji. To zarzut o granicę tomu, nie o to, że wszystkie te rodziny metod urodziły się po tej dacie, bo sam aktor i krytyk jest od książki starszy i jest w niej opisany. Zasada się nie zestarzała, narzędziownik owszem, więc tę pozycję czyta się razem z nowszą, implementacyjną, a nie zamiast niej.

Czwarte pęknięcie jest dla naszego zastosowania najpoważniejsze i ma dwa osobne brzegi. Gwarancje zbieżności zależą tu od algorytmu i warunków, a spora ich część dotyczy stacjonarnych procesów decyzyjnych o skończonej liczbie stanów, czyli świata łagodniejszego niż rynek, który zmienia reguły w trakcie gry. Osobno od tego, i niezależnie od stacjonarności, autorzy nazywają splot trzech rzeczy, przy którym uczenie potrafi się rozbiec zamiast zbiec: aproksymacji funkcji, aktualizowania oszacowania na podstawie innego bieżącego oszacowania i uczenia jednej polityki z danych zebranych przez inną, a rynek dokłada do tego jeszcze dryf rozkładu w czasie. Ostrzeżenie wypada mocniej niż lekarstwo.

Werdykt

Praktyczność 4, głębia 9, aktualność 8.

Praktyczność nisko i bez żalu, bo ta książka nie jest narzędziem, tylko fundamentem. Pseudokody są kompletne i da się je zaimplementować, egzemplarz elektroniczny autorzy udostępniają za darmo. Między tymi stronami a systemem, który cokolwiek robi na kontrakcie, leży całe środowisko, dane, koszty i egzekucja, których tu po prostu nie ma. Stoi przez to wyżej niż najbardziej matematyczne pozycje naszej półki, których nie da się przenieść do warsztatu wprost, i wyraźnie niżej niż podręczniki z gotowym kodem.

Głębia 9, czyli na wspólnym szczycie z najmocniejszymi pozycjami naszej półki, a nie ponad nimi. Stoi tam za jednolity aparat, który prowadzi od problemu jednorękiego bandyty i procesów decyzyjnych Markowa przez metody tablicowe aż do aproksymacji funkcji i gradientu polityki, ani razu nie zmieniając języka po drodze i nie zostawiając czytelnika z listą przepisów bez wspólnego mianownika. Dochodzi do tego rzecz, której podręczniki robią rzadko, bo autorzy sami wypisują warunki, przy których ich własne metody się rozbiegają. Dziesiątki nie stawiamy i pierwszeństwo w dziedzinie tu nie wystarczy: autorstwo pionierów mówi o źródłowości, nie dowodzi, że nic w całym zbiorze nie sięga głębiej, a zastrzeżenia z poprzedniej sekcji zostają w mocy.

Aktualność 8, choć książka ma osiem lat, bo rdzeń tej dziedziny nie starzeje się w tempie bibliotek. Pojęcia stąd są dziś używane szerzej niż w roku wydania, między innymi przy dostrajaniu modeli językowych, i to one wracają w każdej nowszej publikacji, którą czytamy, a dwóch punktów brakuje za warstwę praktyki, której tu nie ma, choć czytelnik napotka ją od razu po zamknięciu tej lektury, więc książka trafia na półkę jako pierwsza pozycja do przeczytania, nie jako ostatnia.

Komu ją polecamy? Każdemu, kto zamierza podejść do rynku metodą uczącą się i chce najpierw zrozumieć, co dokładnie ta metoda obiecuje, a czego nie obiecuje wcale. Kto szuka kodu, znajdzie go u innych autorów, i to jest właściwa kolejność, bo kod bez tej ramy prowadzi w miejsce, w którym maszyna maksymalizuje coś, czego nikt świadomie nie wybrał.