Kahneman, AI i siedem lat zamiast półtora

Jeżeli zakładam, że projekt zajmie mi miesiąc, realnie schodzi na niego siedem. Jeżeli myślę, że zrobię coś w tydzień, potrwa półtora miesiąca. Brzmi absurdalnie. Ale po latach te przemnożone przez siedem szacunki okazują się zaskakująco trafne. To moja prywatna reguła: żeby plan z głowy spotkał się z rzeczywistością, mnożę wyjściowy szacunek razy siedem. Dopiero wtedy ląduję na ziemi.

Od razu zaznaczam, bo zaraz padnie druga liczba: te razy siedem to odczucie, nie pomiar. Tyle wynosi pomyłka mojego pierwszego odruchu, zanim usiądę i cokolwiek policzę. Kiedy rozpisuję porządny harmonogram, mylę się dużo mniej, rzędu dwa do czterech razy. I to drugie mam już policzone na twardych danych z całej kariery.

Czytam właśnie „Pułapki myślenia" Daniela Kahnemana. Książkę z 2011 roku, którą każdy „powinien" mieć przeczytaną, a której ja przez piętnaście lat unikałem, bo wydawała mi się rozdmuchana. Nie była. Im głębiej w nią wchodzę, tym mocniejsze mam jedno wrażenie - nie czytam książki o psychologii. Czytam dokumentację techniczną.

Mózg, który Kahneman opisuje, działa tak samo, jak współczesny model językowy. Tylko że Kahneman zdążył to spisać piętnaście lat przed pierwszym GPT.

To nie jest analogia na efekt. To jest rzecz, która zatrzymała mnie w połowie rozdziału i kazała zamknąć książkę na pięć minut. Każdy błąd poznawczy, który Kahneman opisuje na ludziach, ma swój dokładny odpowiednik w sposobie, w jaki AI dziś się myli. Nadmierna pewność siebie. Zakotwiczenie na pierwszej liczbie, jaką usłyszało. Zmyślanie, gdy brakuje wiedzy. Halucynacja zamiast przyznania, że czegoś nie wie. Twój mózg pracuje w trybie pierwszym (szybkim, automatycznym, intuicyjnym), ten tryb odpala wzorzec z pamięci, a jeśli wzorca nie ma, dolepia coś, co pasuje, i podaje jako pewnik. To dokładnie ten sam mechanizm, który sprawia, że ChatGPT poda Ci nieistniejące źródło z pełnym przekonaniem.

Czytam i myślę: to nie AI jest podobne do nas. To my dopiero zaczynamy widzieć siebie tak, jak widzimy AI. Z zewnątrz.

Surowy kontekstPółtora roku, siedem lat, czterdzieści procent

Kahneman opisuje własną historię. Jego zespół pisał podręcznik do nauczania myślenia w izraelskich szkołach. Po półtora roku pracy usiedli przy stole i spróbowali oszacować, ile zostało. Wszyscy, niezależnie od siebie, dali odpowiedź w okolicach roku, najwyżej półtora.

W tym samym zespole był ekspert akurat w pisaniu podręczników. Po dyskusji ktoś zadał mu inne pytanie. Nie „ile nam zostało", tylko „ile zwykle trwa napisanie takiego podręcznika zespołom, które są dokładnie tu, gdzie my teraz". Ekspert się zastanowił. Sprawdził. Średnia: siedem do dziewięciu lat. Czterdzieści procent zespołów nigdy nie wydaje książki w ogóle. Zostawia projekt po drodze.

Mieli dane. Twarde, statystyczne, dotyczące dokładnie tej samej sytuacji, w której sami byli. Wiedzieli, że ich własna ocena jest oderwana od rzeczywistości o rząd wielkości. Po krótkiej dyskusji postanowili kontynuować, ufając, że im się uda szybciej. Książka wyszła osiem lat później.

Ten fragment nie zostawia mi spokoju nie dlatego, że pokazuje pomyłkę. Pokazuje moment, w którym dowody leżą na stole, a człowiek odsuwa je ręką i robi swoje. Wiedzieli. Mimo to weszli.

CieńPiętnaście lat tej samej pomyłki

Powiem szczerze. Cała ta historia byłaby dla mnie ciekawostką, gdyby nie to, że opisuje moje ostatnie piętnaście lat pracy w architekturze.

Inwestor przychodzi z harmonogramem. Patrzę na termin i wiem, zanim jeszcze otworzę projekt: tu jest mniej więcej połowa, a w wykonawstwie ćwierć tego, co naprawdę będzie potrzebne. Spotkałem może dwa, trzy harmonogramy w życiu, które się obroniły. Reszta sypała się tak samo, niezależnie od skali, biura i tego, kto je rysował. Każdy z nich był zrobiony przez kogoś inteligentnego, na danych, w dobrej wierze. I każdy z nich był pomylony o czynnik dwa do czterech. To są właśnie te dwa do czterech razy z początku - policzone, nie wyczute.

To nie jest opowieść o słabych planistach. To opowieść o tym, że umysł, który planuje, ma wadę fabryczną.

I co robiłem ja? Dokładnie to samo. Patrzyłem na harmonogram klienta, wiedziałem swoje, dodawałem dwadzieścia procent bufora, klepałem się po ramieniu za realizm. Pracowałem na swoim własnym optymistycznym szacunku, mając w głowie dziesiątki dowodów, że dane mówią coś innego. Robiłem to świadomie. Robił to mój mózg w trybie pierwszym, a tryb drugi (ten powolny, analityczny, ten od porządnego liczenia) nie zdążał się odezwać, bo decyzja już była podjęta.

Mam dowody w każdym swoim harmonogramie z ostatnich piętnastu lat. Mniej więcej co drugi projekt kończyłem dwa razy później, niż obiecywałem.

Do tego doszło ADHD, zdiagnozowane późno. ADHD nie pomaga w szacowaniu. Szepcze do ucha, że jeszcze odpiszesz na maila, podlejesz kwiaty, w drodze do warsztatu wstąpisz na kawę. Każda godzina, której nie ma w kalendarzu, czeka na pasażerów na gapę. A pasażerowie zawsze się znajdują. Pogodzenie się z diagnozą zajęło mi rok. Dziś wpisuję do kalendarza około dwudziestu procent dawnych planów i, co dziwne, robię więcej, niż wtedy kiedy wpisywałem siedem rzeczy dziennie.

Ale szacowanie czasu na nowe projekty to inna sprawa. Tu mój wewnętrzny optymista wciąż dochodzi do głosu pierwszy. I tu właśnie wskakuje moja reguła razy siedem.

Analityczny chłódDwa systemy, dwa rodzaje danych

Kahneman dzieli mózg na dwa systemy. System 1 jest szybki, automatyczny, intuicyjny. Daje odpowiedź zanim się zorientujesz, że pytał. Jest sprawny w sytuacjach, w których wzorzec już istnieje (rozpoznawanie twarzy, prowadzenie samochodu po znanej drodze). System 2 jest powolny, analityczny, wymagający energii. Można go zmusić do pracy (np. rozwiązując 17 × 24 w pamięci), ale on się broni. Domyślnie odpuszcza pracę systemowi 1.

System 1 ma jedną mocną wadę: jeśli nie ma wzorca, dolepia coś, co pasuje, i podaje jako pewnik. To jest ten sam mechanizm, dzięki któremu po przeczytaniu pierwszych dwóch wersów limeryka wiesz, jak wygląda trzecia. Ten sam mechanizm sprawia, że gdy pytasz mnie, ile zajmie nowy projekt, odpowiadam, zanim zdążę pomyśleć.

Kahneman opisuje to napięcie między dwoma sposobami patrzenia na własną sytuację. Pierwszy nazywa widokiem od środka. Drugi widokiem z zewnątrz. Z mojego krzesła wszystko wygląda inaczej niż „te trzysta innych projektów". Mój zespół jest dobry, znamy się, zaplanowaliśmy to lepiej niż inni. Spojrzenie z zewnątrz jest brutalne: statystycznie ludzie w tej samej sytuacji kończą po tylu i tylu latach, jeśli kończą w ogóle. Mózg ma dostęp do obu. Domyślnie wybiera pierwszy, bo wewnątrz siebie czuje się ekspertem. Drugi wymaga uznania, że jesteś statystyką jak każdy inny. Tego mózg nie lubi.

Tu jest miejsce, w którym Kahneman, sam o tym nie wiedząc, opisał skrzywienie modeli językowych. AI też ma dostęp do dwóch warstw: do statystyki (co napisała większość ludzi na ten temat) i do bieżącego kontekstu rozmowy (co mówisz akurat Ty). Domyślnie ufa kontekstowi, bo tak jest trenowane. Dopiero narzucone z góry instrukcje i narzędzia do sprawdzania faktów zmuszają je do spojrzenia z zewnątrz. Inaczej halucynuje.

My i AI mamy ten sam bug. Tyle że AI dostała diagnozę dziesięć lat po nas, a leczy się z niej szybciej, bo nie ma ego.

Twardy wniosekOddaj AI tę jedną decyzję

Mamy w ręku narzędzie, które w jednej rzeczy jest od nas wyraźnie lepsze. W spojrzeniu z zewnątrz. Model językowy nauczony na setkach tysięcy projektów, książek, wdrożeń i remontów ma w pamięci dane, których ja nie zdołam objąć nawet doświadczeniem całego życia. Co ważniejsze, nie ma we mnie sentymentu do mojego własnego optymizmu. Nie zna mojego CV. Nie szepcze mi „tym razem zaplanowałeś to lepiej niż wszyscy inni".

Najuczciwszą koncepcją na nadchodzące lata wydaje mi się ta: nie oddamy AI samych zadań. Oddamy jej osąd. I dobrze zacząć od osądu, w którym statystycznie jesteśmy najsłabsi. „Ile to potrwa" jest idealnym kandydatem, bo tu mamy stuletnią historię własnych pomyłek, spisaną w każdej branży, w każdym kraju, w każdym zespole.

Trzeba jednak powiedzieć rzecz, której wcześniej sam nie chciałem widzieć. AI nie wnosi nowej wiedzy. Te dane mieliśmy też przed nią. Architekt mógł zadzwonić do trzech zaprzyjaźnionych biur i zapytać, ile naprawdę zajęło ostatnie pięć projektów tej skali. Zespół Kahnemana mógł odwiedzić inne zespoły z podręcznikami. Ja mogłem. Nie chcieliśmy. Dane były pod ręką i konsekwentnie przegrywały z naszą prywatną opinią o sobie.

To, co zmieniło AI, to próg wejścia. Spojrzenie z zewnątrz, kiedyś wymagające telefonu, rozmowy, znalezienia kogoś, pokory żeby zapytać, dziś trwa trzydzieści sekund. Próg spadł do zera. Pytanie, czy z tego korzystamy, czy dalej wolimy własną intuicję, jest pytaniem o to, czy potrafimy uznać statystykę swojego gatunku za swoją własną.

Po coTo całe odkrycie

Zaczynam podejrzewać, że „Pułapki myślenia" to najważniejsza książka o AI, jaka powstała. Tyle że Kahneman pisał o człowieku.

To otwiera dziwne, wcześniej nieoczywiste pytanie. Skoro mój mózg myli się tak samo jak model, a model dostał już narzędzia, które jego pomyłki częściowo łapią (sprawdzanie źródeł, wymuszone liczenie krok po kroku, sięganie po dane z zewnątrz), to może najbliższe lata polegają na tym, że własne decyzje zaczynamy przepuszczać przez te same filtry, które dziś nakładamy na AI. Zwłaszcza tam, gdzie statystyka jest brutalna, a nasz wewnętrzny ekspert głośny.

Jedna konkretna rzecz na wynos. Przy następnym zobowiązaniu, zanim powiesz „tak", poświęć trzy minuty na spojrzenie z zewnątrz. Zapytaj AI, ile średnio zajmuje taki projekt ludziom w sytuacji jak Twoja. Albo zapytaj trzy osoby, które już go robiły. Liczbę, którą dostaniesz, potraktuj poważnie nawet wtedy, gdy zaboli. Zwłaszcza wtedy, gdy zaboli. To nie utrata sprawczości. To pożyczenie sobie systemu 2, którego mój mózg nie zdąży uruchomić, zanim odpowie.

I jeszcze jedno. Nie chciałbym, żeby ten wpis skończył się jako oda na rzecz oddania głowy maszynie. Optymizm w szacowaniu czasu jest też paliwem. Gdybyśmy szacowali w pełni realnie, mało kto zaczynałby firmę. Opera w Sydney nie powstałaby (zaprojektowana na cztery lata, otwarta po szesnastu, dziesięć razy droższa niż w pierwszym budżecie). Wiele budynków by nie ruszyło. Ja sam pewnie nie podpisałbym połowy projektów, gdybym znał ich prawdziwy koszt.

Cała sztuka polega na świadomym wyborze, kiedy chcę być optymistą (na starcie, dla odwagi), a kiedy realistą (przy obietnicy klientowi, przy własnym kalendarzu, przy zobowiązaniach na lata). Kahneman daje narzędzia do rozróżnienia jednego od drugiego. AI daje narzędzia do tańszego dostępu do spojrzenia z zewnątrz. Reszta jest na mnie.

Najmocniejsza rzecz, której nauczyło mnie czytanie Kahnemana, to nie opis cudzych pułapek. To zrozumienie, że mój mózg chodzi tym samym torem co AI, którą codziennie testuję.

Ten moment, kiedy model językowy pomyli się tak samo jak ja, to nie jest błąd modelu. To dowód, na czyim doświadczeniu jest wytrenowany.