Ocenianie, weryfikacja ocen, korekta błędów…

Kiedy niecały miesiąc temu miał miejsce nieudany zamach na Donalda Trumpa, internet ogarnął szał. Zarówno wśród różnych „gadających głów”, jak i po prostu wśród znajomych słyszałem jak to wszystko już skończone, teraz to Trump absolutnie musi wygrać, zamach będzie głównym tematem aż do wyborów, Trump ma zdjęcie, które trafi do książek do historii, itp. itd.

Nie minął miesiąc, a o zamachu nikt już nie mówi.

Co to mówi o naszej zdolności przewidywania? O tym na ile trafnie oceniamy jakie informacje są istotne, a jakie nie? Jakie wydarzenia będą miały znaczenie, a jakie zupełnie się rozmyją?

Sam 14 lipca napisałem na FB pewien tekst, którego zrzut załączam poniżej. (Wybaczcie dość małą czcionkę, to jedyny sposób by zmieścił mi się na jednym ekranie.)

Wskazywałem w nim, że warto nie ulegać emocjom, że daleko jeszcze do rozstrzygniętej sprawy, że owszem tuż po usłyszeniu o zamachu mocno się też zmartwiłem, ale najgorszy możliwy scenariusz, taki, który faktycznie by napędził sytuację, nie miał na szczęście miejsca. Przyznam, nawet ja nie doceniłem wtedy jak szybko cała sprawa się rozmyje. Jednak już wtedy byłem w stanie ocenić, że nie będzie mieć tak ekstremalnych konsekwencji, jak się większości osób wydawało.

Dlatego chcę dziś pogadać z Wami o ocenach. O tym jak je dokonujemy. Jak często są błędne. Jak je weryfikujemy i co z tym dalej robimy.

Nie możemy nie oceniać. Wszelkie new-ageowe czy pop-psychologiczne tezy w tym zakresie warto od razu wyrzucić do kosza. Nasz mózg jest narzędziem do symulacji rzeczywistości, nie jest w stanie nie oceniać. Co najwyżej możemy być mniej lub bardziej pewni swoich ocen, możemy też dodać kategorię „nie wiem” i nauczyć się czuć komfortowo z udzielaniem takiej odpowiedzi.

To kluczowa kwestia. Oceniamy zawsze. Pytanie na ile nasze oceny są trafne. Czy i jak to sprawdzamy? Co z nimi robimy, jeśli trafne nie są?

Warto dbać o to, by nasze przekonania i oceny były dla nas opłacalne. Skoro zajmują miejsce w naszej głowie czy zajmują część naszej uwagi, to niech coś z nich wynika, niech mają jakąś realną wartość. Niech coś trafnie przewidują. Pisałem o tym więcej tutaj. Dlatego jeśli z danych przekonań lub ocen nic nie wynika, nie mają żadnego znaczenia, to warto nie marnować na nie czasu. Jeśli zaś coś przewidują, to czy przewidują to trafnie? (Lub, dokładniej, trafniej niż oczekiwalibyśmy po czystym przypadku?) Jak możemy to sprawdzić i skorygować?

Warto zwracać uwagę na to, jak różne błędy poznawcze wpływają na naszą ocenę. Dla przykładu, efekt świeżości sprawia, że nowe wydarzenia wydają się bardziej istotne, zwłaszcza gdy są przy tym silnie nasycone emocjonalnie i często powtarzane, co uruchomi z kolei efekt dostępności. Efekt potwierdzenia sprawi, że będziemy szukać raczej dowodów na to, że to dane wydarzenie jest kluczowe, niż na to, że nie ma dużego znaczenia, itp. Te i wiele innych błędów poznawczych jest dodatkowo nakręcanych przez 24-godzinny cykl wiadomości, fakt, że jesteśmy ciągle zasypowani kolejnymi opiniami, doniesieniami, itp. Tyle tylko, że nie dzieje się na codzień aż tak wiele ważnych rzeczy (a przynajmniej ważnych rzeczy o których sensownie mogą mówić laicy-dziennikarze do laickiej publiczności). Zamiast tego mamy więc wyolbrzymianie i nadmuchiwanie nawet małych wiadomości, byle tylko stworzyć wrażenie nieustannych nowych treści. Warto to więc korygować, zakładając, że większość aktualnych wiadomości jest dużo mniej przełomowych, niż może się wydawać.  Większość wydarzeń nie ma większego znaczenia długoterminowo. Za tydzień czy za miesiąc będziemy już mówili o czym innym. Warto mieć tego świadomość.

(Czemu w takim razie aktywnie reaguje np. na transfobiczne treści pojawiające się w mediach czy dyskusjach? Bo o ile długoterminowo nie mają one znaczenia i długoterminowo dążymy w kierunku większych praw dla mniejszości, o tyle te mniejszości to nie jakieś abstrakcyjne siły społeczne. To konkretne, żyjące tu i teraz osoby, które dziś mogą mniej lub bardziej cierpieć. Jeśli możemy im ograniczyć cierpień przez przeciwdziałanie nagonce na nie, jest to jedyną możliwą etycznie decyzją.)

Warto też aktywnie weryfikować to na ile czujemy się pewni ze swoimi ocenami, a na ile faktycznie są trafne. Julia Galef w swojej książce „Mentalność Zwiadowcy” proponuje fajny test odnośnie takiego poczucia pewności. Przedstawia szereg binarnych pytań (dających odpowiedzi „tak” i „nie” albo np. „Egipt” i „Niger”) i zachęca czytelnika do odpowiedzenia na nie, jak również zaznaczenia swojego stopnia pewności przy każdej z odpowiedzi. Stopnie te wynoszą od 55% (czyli ledwo ponad rzut monetą, w zasadzie nie mam preferencji*) aż do 100% (czyli jestem absolutnie przekonany, że tak jest). Po sprawdzeniu odpowiedzi należy rozrysować wykres – na ile byliśmy pewni, a na ile byliśmy trafni przy danym poziomie trafności. Np. Jeśli byliśmy pewni na 75% i odpowiedzieliśmy z tą pewnością na 4 pytania, oczekiwalibyśmy trzech poprawnych i jednej błędnej odpowiedzi. Jeśli trafiliśmy 4/4 sugeruje to zaniżanie naszej pewności, ale jeśli 0,1 lub 2 na 4, to byliśmy zdecydowanie zbyt pewni swego. Pozwala to porównać na ile czujemy się pewni, a na ile nasza pewność jest uzasadniona. U większości osób jest niestety poziom pewności znacząco wykracza ponad poziom trafności. Są zdecydowanie zbyt pewne swego, względem swojej trafności.

Wiem, że dość często w dyskusjach wypadam na bardzo przeświadczonego o swojej racji. Sęk w tym, że rzadko kiedy mówię o swojej racji, staram się mówić o faktach. I gdy zrobiłem sobie tego powyższy test trafności, moje wyniki okazały się wręcz istotnie zaniżone. Innymi słowy, mogłem spokojnie być dużo pewniejszy swoich ocen, niż byłem. To sugeruje, że moja pewność nie jest nieuzasadniona. (A wręcz mogłaby być nieco wyższa. Tak, wiem, byłbym wtedy zupełnie nie do zniesienia… )

Btw. Jeśli chcesz, angielska wersja tego testu dostępna jest na stronie Galef, zachęcam do sprawdzenia swoich wyników. (Alternatywnie, warto po prostu sięgnąć po książkę, jest całkiem wartościowa.)

Oczywiście, to że generalnie dobrze (lub wręcz zbyt nisko) oceniam trafność swoich przekonań nie znaczy, że nigdy nie popełniam błędów. Jestem człowiekiem i popełniam je jak każdy. Nikt nie uniknie popełniania błędów i to regularnego. Kluczowe jest tu jednak to co z tym robimy. Czy próbujemy je wypierać? Czy akceptujemy, ale zostawiamy temat? Czy też może próbujemy coś z tymi błędami robić? Skutecznym narzędziem jest np. wyłapywanie tych obszarów, w których się mylimy. A następnie dokonywanie korekt w tym zakresie.

Sam w tym celu regularnie staram się z jednej strony dokonywać ocen (najlepiej publicznie), a z drugiej regularnie weryfikuje na ile były one trafne. Proszę również o to znajomych (jak i czytelników – jeśli rzuciłem na blogu lub socjalach jakąś ocenę, która w Twojej opinii się nie sprawdziła, docenię wskazanie.) Staram się też, tam gdzie trafne nie były, wyłapywać konkretne wzorce błędnego myślenia, tak by brać na nie korektę w przyszłości. Kilka przykładowych wzorców, które w tym zakresie zaobserwowałem u siebie to:

• Zdarza mi się uznać za wartościowe coś, co z perspektywy okazuje się być szajsem, ale nie jestem w stanie znaleźć odwrotnych sytuacji. Tzn. sytuacji w których uznałem coś za szajs, ale  z perspektywy okazało się to być czymś wartościowym. (A weźcie pod uwagę, że to ja i DUŻO rzeczy uznaję bazowo za szajs!) Wynika z tego, że mogę typowo sobie ufać gdy mam wątpliwości co do czegoś, natomiast powinienem dodatkowo weryfikować kwestie, co do których mam duży entuzjazm.
• Generalnie trafnie oceniam efekty polityczne, ekonomiczne itp. różnych kwestii. Ślepą plamkę mam w zakresie tego jak ludzie potrafią brnąć w irracjonalne i głupie decyzje. Dla przykładu choć trafnie oceniłem NFT i krypto jako scamy, zakładałem, że całkowicie padną. O ile w wypadku NFT tak się stało, o tyle kilka kryptowalut jakoś się wciąż trzyma i wciąż nie zaliczyło ostatecznego zjazdu. (Choć daleko im do lat świetności.) Podobnie o ile trafnie wskazywałem, że nie ma realnych szans by Rosja zagroziła wojskowo Polsce, to również zakładałem, że wojna zakończy się szybciej. Że ze strony Rosji w pewnym momencie wygra chęć ograniczenia rosnących strat, które długoterminowo niszczą kraj. Zamiast tego efekt utopionych kosztów zachodzi tam pełną parą.
• Tego typu ślepa plamka występuje też w codziennym funkcjonowaniu. Generalnie mam tendencję do nieco zbyt pozytywnego (naiwnego?) i racjonalnego oceniania ludzkich decyzji. Jest to ten obszar na który muszę szczególnie zwracać uwagę i korygować. Co ciekawe jest to wzorzec powtarzający się tak prywatnie jak i globalnie – tu i tu oczekuję, że ludzie będą się zachowywać mądrzej niż się zachowują. Tu i tu muszę więc starać się to korygować.

Wyłapanie tego typu obszarów i rodzaju popełnianych błędów jest bardzo istotnym narzędziem by długoterminowo lepiej oceniać sytuacje. Np. To właśnie z wcześniejszych tego typu korekt nauczyłem się mieć więcej dystansu do długoterminowego znaczenia bieżących wydarzeń. Co istotne, każda osoba będzie miała tu swój zakres błędów, nie można więc zaproponować jednego uogólnionego zestawu rozwiązań. Potrzebujesz wykonać własną pracę, przeanalizować swoje własne decyzje i zauważyć swoje własne błędy.

Ważne tu jest, by takiej analizy nie robić całkowicie retrospektywnie. Jeśli dziś oceniałbym jak myślałem rok temu, jest duża szansa, że pamięć płatałaby mi figle. (Stali czytelnicy mogą zresztą pamiętać taki eksperyment na blogu.) Dlatego tak ważne są zapisane przewidywania. Najlepiej publiczne, bo wtedy nawet jeśli my zapomnimy o pewnych deklaracjach, to mogą je pamiętać nasi znajomi i nas z nich rozliczyć.