Co to znaczy „twarde dowody”?

Zalewają nas informacje. Są wszędzie. Opinie, podejrzenia, sugestie, aluzje, fakty i tezy, wszystko miesza się w jednym szalonym kotle.

Nic wiec dziwnego, że łatwo rozprzestrzeniają się idee wadliwe, bzdurne lub wręcz szkodliwe.

Wzmacnia to jeszcze jedno z licznych ograniczeń naszej pamięci, „niepamięć źródła”. Sprawia ona, że po jakimś czasie nie jesteśmy w stanie dobrze rozróżnić między czymś, o czym tylko usłyszeliśmy, a czymś co udało nam się potwierdzić.

Pojawia się więc pytanie – jak rozpoznać, że dana rzecz jest prawdziwa? Na czym się opierać?

Lubię dyskutować. Tak, wiem, wielkie zaskoczenie, prawda? :) Ale na serio, lubię to, uważam to za intelektualną rozrywkę. Z tego powodu bardzo bym chciał, aby dyskusję, w których biorę udział były na pewnym poziomie, by opierały się na sensownych, uzasadnionych argumentach. Taka dyskusja jest po prostu większym wyzwaniem i bardziej przyjemna. Zmusza do myślenia, weryfikacji argumentów, pozwala się czegoś nauczyć, ewentualnie zmienić zdanie, daje też sporą satysfakcję.

Niestety, uczestnicząc w wielu dyskusjach, nabrałem głębokiego żalu do faktu, że jako społeczeństwo nie mamy specjalnego uznania dla debaty. Różnimy się tym bardzo od krajów anglosaskich, gdzie debaty są istotna częścią nauki szkolnej i uniwersyteckiej, a kluby debat pozwalają na polerowanie umiejętności (i mogą być przepustką np. do kariery politycznej).

Jednym z podstawowych braków, jakie mamy, jako społeczeństwo, jest wspomniany brak rozróżnienia miedzy jakością informacji. Opowieść sąsiada jest dla nas równie wiarygodna, jak analiza naukowa. Artykuł z ideologicznego tygodnika jest warty tyle samo, co raport niezależnego, międzynarodowego urzędu. „Moje widzimisie” jest porównywalne z twardymi faktami.

Dlatego chciałem jasno powiedzieć: te rzeczy NIE SĄ sobie równe.

Istnieje coś takiego jak hierarchia dowodów. Dopiero na jej szczycie stawiamy tzw. twarde dowody – i to one stanowią złoty standard argumentacji.  Taka lista nie będzie pełna – zwłaszcza na niższych poziomach można dodać wiele wariantów. Wystarczy jednak wprowadzenie do tematu. Dowody można podzielić na trzy główne kategorie, o rosnącej sile: przesłanki, umiarkowane dowody i twarde dowody. Można również postarać się je przedstawić hierarchicznie w ramach tych kategorii. Poniżej znajdziesz propozycję takiego zestawienia.

Przesłanki:

Najsłabszej jakości dowody. Przesłanki dają podstawę by o czymś mówić i z braku lepszych dowodów muszą wystarczyć, ale nie mają żadnej mocy w porównaniu z dowodami wyższej kategorii.

1. Anegdoty – czyli historie i opowieści, rzeczy które zasłyszałeś, które przydarzyły się Tobie, Twoim znajomym, znajomym Twoich znajomych, itp. Anegdoty, wbrew potocznemu rozumieniu, nie muszą być zabawne, mogą być tragiczne. To jednak wciąż po prostu historie i opowieści. Pamięć płata nam figle, historie i opowieści lubimy ubarwiać, mieszać z innymi, mylić. Nawet swoje własne doświadczenie możemy po prostu błędnie interpretować. Dlatego anegdoty stanowią dowody absolutnie najniższej kategorii – choć, emocjonalnie, będą one dla nas zwykle najsilniejsze.

2. Twierdzenia logiczne – twierdzenia wysnute z czystej logiki mogą się wydawać sensowne, jest jednak bardzo prawdopodobne, że opierają się na wadliwych lub nieprawdziwych przesłankach i jako takie, nie będą wiarygodne.

3. Raporty prasowe, artykuły, filmy dokumentalne – niestety, ale media dbają głównie o oglądalność, sprzedaż i reklamy, a nie o fakty. Dlatego fakt, że coś przeczytałeś w książce, artykule, zobaczyłeś w filmie, nawet jeśli film pretendował pod dokument lub film naukowy, nie mówi nic o wartości tej treści i jej wiarygodności.

Oczywiście, taki film może być wskazówką – ale zawsze należy wtedy sprawdzać źródła.

PS. Artykuły w tym punkcie odnoszą się do artykułów prasowych, popularnych, itp. Artykuły publikowane w pismach typu peer review to szczególny przypadek.

II. Umiarkowane dowody:

Umiarkowane dowody zwykle wykazują, że coś miało miejsce. Problemem może być jednak interpretacja tego czegoś, lub fałszywy kontekst mu nadany. Dla przykładu, zdjęcie bomby może pokazywać, że gdzieś było coś co wyglądało jak bomba i prawdopodobnie było bombą. Ale zdjęcie bomby z Syrii można przedstawić jako zdjęcie bomby z Ukrainy. Albo może to być zdjęcie akcesorium z filmu, a nie prawdziwej bomby. Zdjęcie dziwnego światła na niebie jest po prostu zdjęciem dziwnego światła, nie jest, samo w sobie, dowodem na UFO. Itp.

4.Fakty – zdjęcia, nagrania audio, autoryzowane wywiady, itp. – mówią że coś miało miejsce, ale warto zwracać uwagę na łatwość nadinterpretacji czy manipulacji. Pamiętaj, że samo przypisanie do czyjegoś zdjęcia cytatu nie znaczy jeszcze, że ten cytat faktycznie do tej osoby należy :)

5. Raporty mniejszych organizacji –  im mniejsza organizacja, tym niestety większa szansa, że dla rozgłosu i ideologii będą naginali fakty. Np. Centrum Adama Smitha, publikująca raporty n.t . wolności podatkowej, uparcie odmawia ujawnienia metodologii w oparciu o której wyliczają swój „dzień wolności podatkowej”, co niestety podważa ich wiarygodność. Takie raporty mogą być pewną wskazówką, ale warto je traktować z pewnym dystansem.

6. Prior probability – „uprzednie prawdopodobieństwo”, zestaw twardych dowodów, które mówią o prawdopodobieństwie zaistnienia danego zdarzenia, ale nie weryfikują tego zdarzenia bezpośrednio. Zdarzenie wybitnie mało prawdopodobne w świetle prior probability może wystąpić -ale szanse na to są skrajnie niewielkie. Zdarzenie wybitnie prawdopodobne w świetle prior probability wciąż nie musi zaistnieć.

Dla przykładu – byłoby wybitnie prawdopodobne, że danego dnia  (powiedzmy 1.02.2011) wypiłem kawę. Piję dużo kawy, praktycznie codziennie, prior probability tego, że danego, dowolnego dnia wypiłem kawę jest bardzo wysokie. Ale mógł mi się też zdarzyć dzień, kiedy jednak kawy nie wypiłem (bo np. robiłem sobie kilka dni przerwy), więc sam argument o prior probability nie jest wystarczający by stwierdzić z pewnością, że w dniu 1.02.2011 wypiłem kawę.

III. Twarde dowody:

W tej kategorii mieszczą się w zasadzie wyłącznie badania naukowe, oficjalne dane rządowe oraz dużych, niezależnych organizacji, itp. Oczywiście, dla badań naukowych, itp. także istnieje wewnętrzna hierarchia i postaram się ją w zarysie odtworzyć. W poważnej dyskusji, jeśli tylko są dostępne, liczą się w zasadzie wyłącznie takie argumenty i takie dowody.

7. Akta sądowe – podkreślam, akta, nie wyroki. Sąd może wydać wyrok absurdalny z perspektywy faktów i nauki. Natomiast jeśli w toku sprawy pojawiłyby się dowody niezgodne z prawdą, należy oczekiwać, że przeciwna strona przynajmniej spróbowałaby je podważyć, co też znalazłoby ujście w aktach. Mogą być od tego oczywiście wyjątki, dlatego akta są najsłabszym z twardych dowodów.

8. Badania naukowe – artykuły opublikowane w pismach typu peer review* (przechodzące tzw. recenzje koleżeńską), co pozwala na weryfikację jakości badani. Najlepiej, gdy dany wynik jest potwierdzony w kilku badaniach, prowadzonych przez niezależne ośrodki – to minimalizuje szanse błędu, artefaktu badawczego, itp.

*Tego typu pisma to stricte pisma naukowe, takie jak np. „Nature” czy „Journal of Cognitive Psychology”. Przedruki z wielu z nich możesz znaleźć np. w Google Scholar, niektóre, wydane w formie tzw. otwartego dostępu, możesz znaleźć w internecie (np. tytuły wydawane przez PLOS), duża część jest niestety trudno dostępna dla „zwykłych śmiertelników”, gdyż dostęp do nich kosztuje i to dużo. Streszczenia artykułów – ich podsumowania – dostępne są zwykle za darmo (dużą ich bazę z zakresu medycyny, terapii, itp. znajdziesz na PubMed), ale pełne artykuły są płatne i potrafią kosztować nawet kilkadziesiąt dolarów. Rozwiązaniem są tu biblioteki uniwersyteckie, które mają wykupiony dostęp do takich baz, ew. warto się zaprzyjaźnić ze studentami lub wykładowcami – może ktoś użyczy swojego konta, a większość uczelni daje dla swoich uczniów i kadry dostęp do dużych baz płatnych publikacji naukowych.

9. Raporty i analizy – twarde dane rządów, instytucji publicznych i niezależnych, wiarygodnych organizacji pozarządowych. Rządy i instytucje publiczne zwykle nie mogą w takich raportach kłamać pod odpowiedzialnością karną. Duże, niezależne organizacje pozarządowe ryzykują zwykle zbyt dużo, ich wiarygodność jest zbyt cenna, dlatego również warto im bardziej ufać.

10. Próby kliniczne (w medycynie, psychologii, weterynarii, itp.)  – wyższej jakości badania, prowadzone na dużych grupach, z zachowaniem odpowiednich wymogów metodologicznych, pozwalają na jasne stwierdzenie czy coś działa czy nie. Oczywiście mowa o rzeczach publikowanych w pismach typu peer review.

11. Metaanalizy i systematyczne przeglądy badań – najwyższy poziom jakości dowodów. Przegląd szerokiego zakresu badań w danym temacie i połączenie wyników biorące pod uwagę ich jakość (większe i lepiej zaprojektowane badania są cenniejsze niż kiepsko zaprojektowane i mniejsze). Oczywiście ideałem jest tu systematycznych przegląd prób klinicznych. Tego typu publikacje są bardzo silnym argumentem i naprawdę trudno je zbić (choć jest to możliwe). Oczywiście, metaanalizy i systematyczne przeglądy badań mają sens, jeśli są publikowane w pismach typu peer review.

Co istotne -to, że coś jest twardym dowodem nie znaczy, że jest niepodważalne. Badanie czy raport rządowy też można podważyć. Należy jednak wskazać jego konkretne słabości, konkretne błędy metodologiczne lub nadinterpretacje, jakie zostały w nim zawarte. Takim podważeniem nie będzie jednak – nie może być – dowód niższej kategorii.

---

---