Jak czytać badania naukowe cz. 3

W trzeciej części cyklu o czytaniu artykułów naukowych chciałem zająć się oszustwami i manipulacjami. Ba badaniami niewątpliwie da się manipulować. Nawet najwięksi zwolennicy metody naukowej muszą to przyznać. Po prostu metody manipulacji są zwykle mocno odmienne od tego, co wydaje się krytykom nauki. Na tyle odmienne, że po rodzaju krytyki można zwykle rozpoznać na ile krytykujący w ogóle rozumie metodę naukową.

No dobra, dość wprowadzenia. Jak badaniami faktycznie się manipuluje?

Najpopularniejszą krytyką zarzucaną badaniom jest to, że jak za dane badanie płaci określona firma, to wyniki „wyjdą” takie, jakie firma chce. Innymi słowy, bezpośrednie fałszerstwo, wyssanie danych z palca tak, by pasowały do tezy.

Paradoksalnie, tego rodzaju fałszerstwa niemal nigdy nie mają miejsca. Jeśli się zdarzają, to są praktycznie zawsze dziełem pojedynczych naukowców-fałszerzy, którzy manipulują danymi nie w imię wyników jakiejś firmy, tylko dla własnej kariery. Reguła „publikuj albo giń”w nauce potrafi niestety skłaniać do mało etycznych działań w imię kolejnych publikacji.

Dlaczego tego rodzaju fałszerstwa są rzadkie?

Ponieważ banalnie łatwo je wykryć. Ludzie niezbyt dobrze potrafią generować przypadkowe wyniki. Pojawiają się tam zniekształcenia. Te odchylenia są niewidoczne gołym okiem, to prawda. Ale potraktujmy je kilkoma podstawowymi narzędziami statystycznymi i zaczynają błyszczeć niczym napromieniowane. Nie bez powodu większość takich fałszerstw, o których słyszymy, wynika ze zwykłej analizy, którą wykonał inny naukowiec na wynikach poprzednika.

Dlatego korporacje finansujące badania nie będą na tyle głupie, by korzystać z takich rozwiązań. Są jednak inne manipulcje, które faktycznie mogą mieć miejsce.

Obchodzenie ścieżki recenzji koleżeńskiej

Nauka stoi na peer review, mechanizmie recenzji koleżeńskiej. To proces powolny i wadliwy, ale mimo wszystko niezwykle cenny. Niestety istnieje kilka sposobów na to, by badania trafiły do publikacji obchodząc ten proces.  Niektóre z nich wymieniałem już w poprzednich częściach cyklu, ale warto je zebrać razem.

Pierwsze z nich, to publikacja w „drapieżnym” piśmie wydawanym w formacie otwartego dostępu. Takie pisma publikują wszystko, byle autor zapłacił. Możemy się przed tym bronić googlując tytuł pisma i sprawdzając, czy nie pojawia się wobec niego podobna krytyka. (Niekiedy używany jest też miernik Impact Factor, jest on jednak z wielu względów wadliwy – także dlatego, że zawsze wyświetlany jest współczesny IF, a artykuł, który czytamy mógł się ukazać np. 5 lat temu, gdy pismo miało zupełnie inny standard.)

Druga metoda obchodzenia recenzji to „uprzywilejowany dostęp redakcyjny” (tzw. privilaged access). To sytuacja w której redaktor naczelny pisma stwierdza „ten artykuł jest tak dobry, że nie potrzebuje recenzji”. Powiedzmy sobie szczerze – to skrajne wypaczenie nauki i absolutny skandal, a każdy redaktor winny takiego działania powinien natychmiast stracić swoje stanowisko. Takie badania zatruwają całą dziedzinę – są bowiem później bezmyślnie cytowane jako zweryfikowane i sprawdzone. To właśnie przez takie działania mam ogromny problem z Martinem Seligmanem i całym poletkiem psychologii pozytywnej – Seligman był bowiem winny puszczania przez uprzywilejowany dostęp całej masy publikacji z tej działki. Tu pomaga nam też google i weryfikacja. A w drugą stronę złotym standardem etycznym powinno być unikanie jakichkolwiek podejrzeń, „żona Cezara” – jeśli znasz redaktora danego pisma, nigdy nie wysyłaj do niego swoich artykułów.

Trzecia metoda -dość rzadka, ale warto na nią uważać – to sytuacja, gdy jakaś firma kupuje sobie specjalne wydanie jakiegoś pisma i tam sama decyduje o treści. O tym, że to wydanie specjalne, itp. można przeczytać, wyróżnia się od innych – ale większość osób to zignoruje i uzna za typowy numer. Tu trzeba być po prostu uważnym.

A na wszystkie te metody jest jeszcze jeden prosty sposób. Nie wierz w pojedyncze badania. Szukaj replikacji, metaanaliz i systematycznych przeglądów.

---

Przerwa na reklamę ;)

---

---

Wracamy do artykułu :)

---

Selektywny dobór („wybieranie wisienek”/”cherry-picking data”)

Kolejną metodą manipulacji wynikami jest selektywny dobór treści. W przeglądach publikacji (niesystematycznych) czy np. książkach robi się to w ten sposób, że dobiera ze wszystkich badań tylko te, które pasują nam do tezy, ignorując pozostałe. (Lub, w lżejszej wersji poświęcając im nieproporcjonalnie mniej uwagi, niż wskazuje ich ciężar.) Np. mamy 500 badań w temacie, 480 mówi, że dane zjawisko nie działa, 10 mówi, że nie wiadomo, 10, że działa. W książce publikujemy 10, że działa, 3, że nie wiadomo i dwa, że nie działa – sugerując, że w sumie to działa. To właśnie tzw. „wybieranie wisienek” – patrzymy na drzewo wiedzy i zrywamy tylko te owoce, które są dla nas apetyczne. Dlatego warto traktować książki itp. jako początek własnych poszukiwań, a nie pełny opis tematu.

Podobny mechanizm bywa wykorzystywany w ramach samych badań. Jeśli porównujemy bardzo dużo zmiennych, jakieś zależności nam wyjdą zawsze, choćby czysto statystycznie. Można wtedy wskazać na zależności pasujące nam do koncepcji, a zignorować inne. Niestety wychwycenie tego wymaga często dokładnej analizy danych zawartych w materiale. (Przykładem jest tu niesławne China Study, gdzie taka technika została wykorzystana do sugerowania ogromnie negatywnego wpływu na zdrowie diety mięsnej… a jednocześnie autor ignoruje te dane, w których to wegetarianie mieli większe ryzyka chorób.) Bardzo przydatne tutaj jest szukanie replikacji – jeśli uzyskane wyniki są szumem informacyjnym, taki sam rozkład szumu nie powtórzy się w kolejnym podobnym badaniu.

Modyfikacje metodologii i wyjaśnienia post factum

Metoda naukowa jest jasna – plan badania ustalamy przed nim i nie zmieniamy go w trakcie. Jednocześnie jednak naukowcom może zależeć na wynikach, mogą więc np. zakończyć badanie przedwcześnie, gdy wyniki pasują do tezy (nie ryzykując, że później uległyby pogorszeniu) lub przeciwnie, przeciągnąć je dłużej niż planowano, gdy do tezy nie pasują (mając nadzieje, że po jakimś czasie wyniki jednak się poprawią.) Innym podobnym trikiem jest reinterpretacja braku zakładanych wyników na koniec publikacji. („Wprawdzie nie wyszło co miało wyjść, ale to prawdopodobnie dlatego, że…”) To niestety brak dyscypliny naukowej i należy mieć do tego typu działań ogromny dystans. Najlepsi naukowcy robią coś odwrotnego – podważają swoje wyniki do czasu uzyskania niezależnych replikacji.

Te rzeczy da się zwykle wyłapać na poziomie uważnej lektury metodologii lub wyników badania, uwrażliwiam po prostu na ich występowanie.

Dobór nietypowej próby

Metodą niekiedy wykorzystywaną (choć stosunkowo coraz rzadziej) jest wykorzystywanie w badaniach specyficznie dobranych prób. Np. w badaniach leku przeznaczonych dla typowej populacji, w różnym wieku, wybieramy jako grupę badaną osoby wyjątkowo młode lub wyjątkowo stare. Nawet, jeśli grupa kontrolna (osoby nie poddawane badaniu, z którymi porównuje się skuteczność interwencji) należy do podobnej kategorii, wyniki będą mocno zniekształcone względem całej populacji.

Warto więc wgryźć się w dział metod i sprawdzić na jakiej konkretnie próbie prowadzone były badania, a gdzie dana rzecz ma być faktycznie używana.

W tym kontekście warto też wskazać na kwestie badania leków na liniach komórkowych (in vitro, komórki w probówce) oraz na zwierzętach. To, że dana substancja robi coś z komórkami w próbówce albo ze zwierzętami mówi nam dopiero o bardzo odległym potencjale podobnego jej działania u ludzi. Problemem większości leków nie samo podanie odpowiedniej substancji – znamy masę rzeczy, które np. zabijają komórki nowotworowe. Problemem jest to, aby te rzeczy dotarły do tych komórek – oraz żeby nie zabiły przy okazji innych. (Idealnie: żadnych innych. Realistycznie: zbyt wielu innych.) W probówce po prostu wkrapiamy co trzeba i sprawa załatwiona. Ale w organizmie to dystrybucja jest problemem. (To jak z jedzeniem w skali globalnej – co z tego, że nie dojadasz swojego, to nie pomaga głodującym w Afryce, bo nie masz jak im tego wysłać w sensownym czasie.) W przypadku badań na zwierzętach zaczynamy już odnosić się do dystrybucji, ale tylko w umiarkowanym stopniu – zwierzęta są jednak zbudowane inaczej niż ludzie i tylko niektóre rzeczy działają u nas i u nich podobnie. Większość clickbaitów w internecie n.t. „cudownego leku na raka wstrzymywanego przez zły przemysł farmaceutyczny” czy cokolwiek dotyczy właśnie badań na liniach komórkowych, rzadziej na zwierzętach. Na ludziach takich clickbait brak – bo jakby coś takiego było, ten przemysł dawno by to opatentował! (Przy okazji, tak. Wbrew bredniom popularnym w sieci, jak najbardziej można opatentować wykorzystanie substancji naturalnego pochodzenia w terapii poszczególnych chorób.)

Badania do szuflady

Jeśli jest jedno zjawisko, którego korporacje finansujące badania faktycznie są regularnie winne, to jest nim właśnie to. Przy czym efektowi temu ulegają też szeregowi naukowcy, a nawet całe nacje!

Tzw. efekt szuflady polega na tym, że niektórych wyników po prostu nie wysyła się do publikacji. W wypadku korporacji może to wyglądać tak, że robimy trzy próby kliniczne i publikujemy tylko wyniki z tej, która pokazała skuteczność leku. W wypadku szeregowych badaczy wyniki negatywne (nie potwierdzające istnienia zjawiska), albo nie pasujące do powszechnie panującej wiedzy dużo częściej nie są w ogóle przygotowywane do publikacji. Tacy naukowcy uznają, że lepiej spożytkują swój czas robiąc kolejne badanie, niż publikując mało ciekawe (z ich perspektywy) wyniki w nisko-prestiżowym piśmie. (Wysoko-prestiżowe mają tendencję do publikacji tylko tych badań, które uznają za przełomowe – co jest oddzielną patologią.)

To, wbrew pozorom, kolosalny problem. Bo zniekształca nam obraz sytuacji. Na szczęście mamy już narzędzia by takie zjawisko wykryć- to tzw. analiza lejkowa. Wyniki badań powinny układać się w kształt lejka. Niektóre powinny przeceniać zjawisko, inne go nie doceniać. Im lepszej jakości badania, tym bliższy ich wynik do prawdziwej sytuacji.

Np. jeśli dany lek pomaga w 20% pacjentów, to nisko-jakościowe badania będą dawać wyniki 0%, 0%, 2%, 40%, 60%, 25%, 18%, 10% itp. średnio-jakościowe 30%, 10%, 13%, 23% 18%, 33%, itp. a wysokojakościowe 20%, 23%, 18%, 24%, 21%, 19%, 20%. Jeśli rozpiszesz sobie te wyniki jako punkty na osi , wyjdzie Ci właśnie coś w rodzaju lejka. Jeśli natomiast mamy w danym temacie efekt szuflady, to wyjdzie nam coś w rodzaju połowicznego lejka – będą wciąż odchylenia na plus, ale nie na minus. Zaawansowane narzędzia statystyczne pozwalają nam nawet odtworzyć pierwotny lejek.

Taki efekt szuflady/zniekształcony lejek, notabene, widzimy potwornie silnie w Chinach w odniesieniu do badań z zakresu tzw. tradycyjnej medycyny chińskiej czy akupunktury. Z tego względu chińskie badania z tych tematów są w światowej debacie naukowej w dużej mierze ignorowane jako niewiarygodne.

Efekt szuflady bywa wskazywany w metaanalizach i systematycznych przeglądach i warto do nich sięgać. Oprócz tego, zwłaszcza w badaniach medycznych coraz większą popularność zdobywa inicjatywa AllTrials (zachęcam do podpisania petycji). Sprowadza się ona do tego, że wszystkie prowadzone badania kliniczne muszą zostać zarejestrowane już na etapie uruchomienia, a ich wyniki (czy w formie artykułu, czy surowych danych) muszą zostać udostępnione w określonym okresie czasu (zwykle 2-3 lata) od zakończenia badania. Badania, które nie zostały zarejestrowane nie mogą nigdy zostać opublikowane. Inicjatywa ta odnosi coraz lepsze efekty i naprawdę – jeśli zależy Ci na jakości badań i wiedzy naukowej – to poparcie jej jest realnym działaniem w dobrym kierunku.

Błędy statystyczne

Nie tyle metoda oszukiwania, co coś co po prostu ma często miejsce. W wielu badaniach są błędy statystyczne. (Choć też w wielu zarzuca się je błędnie, ignorując pewne elementy procedury, np. odgórne odrzucanie niepełnych kwestionariuszy z puli.) Warto mieć to na uwadze. Replikacja jest tu naszym przyjacielem.

Błędy replikacji

Żeby nie było tak łatwo, replikacje też nie zawsze dają nam jasny obraz. Problem jest zwłaszcza istotny w badaniach psychologicznych i pokrewnych. Badane osoby mogą mieć większą świadomość badanego zjawiska i reagować zgodnie z oczekiwaniami (lub przeciwnie, być bardziej wyczulone, by nie ulec zjawisku). Mogły się zmienić warunki zewnętrzne, które wpływają na replikację. (Np. jeden ze znanych eksperymentów z zakresu drobnych wpływów wykorzystywał bardzo popularne w tamtym czasie komiksy Far Side. Kocham prace Gary’ego Larsona, to tak bardzo mój rodzaj humoru… Ale on nie jest typowy, zwłaszcza dla czasów współczesnych. Niedawna replikacja oryginalnego badania z wykorzystaniem tych samych komiksów była więc dość wątpliwa metodologicznie. ) W końcu, to replikacja mogła być obarczona błędem statystycznym, przypadkowo błędnym wynikiem, itp.

Wiem, wredny jestem. Dałem replikacje jako rozwiązanie, po czym wskazuje, że i im nie można ufać. Ale to nie ja jestem wredny. (No, nie tylko ja.) Taki jest po prostu świat. Nauka nie jest łatwa. Jest wartościowa, ale i wymagająca i warto to mieć na uwadze.

---

---