Jak czytać badania naukowe? Cz. 1

Niektórzy z Was zwracali mi uwagę, że tak często powołując się na badania w dyskusji mogę zniechęcać pewną część czytelników, którzy badań po prostu nie potrafią czytać.

To słuszna uwaga. Rozwiązania widzę dwa, jedno sensowne, drugie absurdalne. Absurdalnym byłoby zaprzestanie sięgania do badań. Nie miałoby to sensu, bo stracilibyśmy wtedy najlepsze źródło do opisu rzeczywistości, jakim dysponujemy. Sensownym rozwiązaniem jest to, czego spróbuję się podjąć w tym artykule – czyli wyjaśnienie jak czytać ze zrozumieniem badania naukowe.

Jako wsparcie do artykułu zachęcam przeczytać „Co to znaczy twarde dowody” oraz „Ty mi znajdziesz badanie, a ja Ci znajdę badanie mówiące co innego„.

Badania naukowe są naszymi najlepszymi narzędziami do poznawania rzeczywistości. Nie są narzędziem idealnym. Są obciążone ogromną ilością wad i ograniczeń. Tylko na ten moment po prostu nie mamy niczego, co choćby zbliżałoby się do ich skuteczności. Mimo tych wszystkich wad i ograniczeń.

Musimy opierać się na metodzie naukowej, ponieważ nasz nagi mózg po prostu nie nadaje się do trafnego wnioskowania na temat rzeczywistości. Ewoluował by pomóc nam przetrwać i rozmnożyć się na sawannie 60 tysięcy lat temu, nie do opisu fundamentalnych prawd wszechświata. To dlatego wynalezienie metody naukowej w XIX wieku dało podstawę do tak gwałtownego rozwoju wiedzy i technologii. W końcu dostaliśmy narzędzie, które w wystarczający sposób wspomagało nasz mózg. Narzędzie wolne, kosztowne i wadliwe. Narzędzie wielokrotnie usprawniane przez lata. Ale przede wszystkim: narzędzie które jako-tako działa.


Problem w tym, że nie jest to łatwe narzędzie. Jest stosunkowo złożone. Do tego tak naprawdę nie jesteśmy go uczeni przez większość naszej edukacji – pojawia się dopiero na poziomie studiów, a i to nie na każdym kierunku.

Nic dziwnego, że dla większości ludzi nauka to taka trochę czarna magia. „Kapłani” ogłaszają głębokie prawdy, a wierni muszą je przyjmować. W rzeczywistości nauka działa zupełnie inaczej, ale skąd ludzie mają o tym wiedzieć?


Jednym z podstawowych ograniczeń naszego mózgu jest nasza ogromna zdolność do znajdywania dowodów na przyjęte założenia. Jeśli uwierzymy w jakąś rzecz, jesteśmy z miejsca ekspertami w jej dowodzeniu.

Dlatego metoda naukowa zaczyna się od możliwości falsyfikacji. Innymi słowy, czy badaną hipotezę da się w jakiś sposób odrzucić? Np. jeśli wierzę, że mam w kuchni niewidzialnego demona, który jest w stanie oszukać wszelkie metody jego wykrywania, to jest to hipoteza nie do odrzucenia. Każdy pomiar nie wskazujący na obecność demona można bowiem zignorować, twierdząc, że demon oszukał urządzenie.

Tezy, które nie są falsyfikowalne, nie podlegają nauce. Nie mają też większego znaczenia w realnym życiu, to takie fotelowe dumanie. Aby nauka czymś się zajęła, musi to być falsyfikowalne. Jeśli chcesz badać jakieś założenie przy użyciu nauki, to musisz nie tylko być gotowy na jego odrzucenie, ale też mieć jakieś kryteria, których spełnienie będzie wymagało odrzucenie tego założenia. To ryzyko, ale hej, bez ryzyka nie ma zabawy!


Ze względu na te kryteria falsyfikacji, hipotezy badawcze formułuje się w ten sposób, aby próbować ODRZUCIĆ badaną hipotezę. Dopiero, jeśli się to nie uda, uznaje się, że hipoteza z pewnym prawdopodobieństwem jest prawdziwa. Wszystkie badania projektuje się z tym założeniem.

Co bardzo istotne, projekt badania powinien być przygotowany zanim weźmiemy się za jego przeprowadzenie. Gdy już rozpoczniemy badanie, należy je dokończyć zgodnie z uprzednimi założeniami. (Bardzo rzadko w testach medycznych robi się od tego uzasadniony wyjątek, gdy np. okazuje się, że terapia A ma tak kolosalną przewagę nad terapią kontrolną, że krzywdzilibyśmy pacjentów poddawanych terapii kontrolnej.)  To przestrzeganie procedury jest o tyle ważne, że bez odpowiedniej dyscypliny możemy łatwo zmanipulować wynikami badania, np. przerywając je wtedy, gdy pasuje do naszej tezy i nie ryzykując wtedy odkrycia, że te pozytywne wyniki były tylko chwilowym szumem statystycznym. (Lub, vice versa, przedłużając poza przewidziany czas, licząc, że w dłuższym okresie czasu pojawią się sprzyjające nam wyniki.)

Ta procedura badawacza, łącznie z rozmiarem grup, sposobem rekrutacji – jeśli badanie dotyczyło ludzi – i innymi ważnymi informacjami, powinna być opisana w każdym artykule badawczym w sekcji zatytułowanej „Metodologia”, „Materiały i metody”, itp. Do typowych sekcji artykułu wrócimy jeszcze później.



Przerwa na reklamę ;)


Chcesz dojść do siebie po zakończonym związku? Pakiet Autocoachingowy Odkochanie pomoże Ci o to zadbać!


Wracamy do artykułu :)



Po przeprowadzeniu badania, zebrane wyniki analizowane są przy użyciu różnych narzędzi statystycznych. To, co nas tu interesuje przede wszystkim, to:

  • czy wystąpił jakiś efekt?
  • jeśli wystąpił, to jak duży był ten efekt (tzw. rozmiar efektu/effect size)?
  • niezależnie od rozmiaru, czy efekt ten był istotny statystycznie (tzw. statistical significance)?

Zatrzymajmy się chwilę nad tym ostatnim kryterium. Dlaczego jest ono tak istotne? Pamiętasz to co pisałem o wadach metody naukowej? Cóż, wyniki badań mogą być często uzyskane czystym przypadkiem. Jeśli przeprowadzilibyśmy 1000 identycznych badań mając absolutną pewność, że dany efekt nie występuje i hipoteza jest fałszywa, to w X badań z tego tysiąca błędnie wyszłoby, że jednak efekt występuje i hipoteza jest prawdziwa. Ów X będzie tym mniejszy, im większe próby używane są w badaniu, oraz im silniejszy efekt został zaobserwowany. Zawsze jednak będzie występował. Zawsze będzie istniało ryzyko, że dane badanie uzyskało wynik tylko przypadkiem.


Jak duże ryzyko? To opisuje nam coś, co w statystyce zwie się „p” i jest właśnie (w uproszczeniu) miarą prawdopodobieństwa tego, że dany wynik jest wynikiem czysto przypadkowym. W większości pism naukowych uznaje się za dopuszczalne p<0.05, a preferowane p<0.005. (Innymi słowy- szanse mniejszą niż 1/20, a najlepiej niż 1/200, że dany wynik był przypadkowy). Czynnik p ma wiele wad i ograniczeń i nie można patrzeć tylko na niego, jest on jednak dość istotnym kryterium minimalnym w ocenie wiarygodności badań.

Sprawia on też, że zwykle jedno silne badanie będzie lepsze niż wiele słabych. Łatwo to policzyć – badanie z p<0.05 ma (w uproszczeniu) 1/20 szans na bycie fałszywym, z p<0.005, 1/200.  Czyli na dopiero 10 badań z p<0.05 będzie miało taką wiarygodność, jak jedno z p<0.005.

Czynnik p jest przy tym, trzeba ostrzec, bardzo podatny na celowe manipulowanie (tzw. „p hacking”), np. przesiewanie ogromnych ilości danych statystycznych celem znalezienia jakichś przypadkowych zależności, które akurat wyjdą istotne. To jedno z tych zachowań surowo tępionych w środowisku naukowym. Na ten moment warto po prostu, żebyś wiedział, że warto zwracać uwagę na p, oraz że siła kolejnych progów p rośnie bardzo znacząco – bardziej, niż sugeruje nam intuicja. Bo dla typowej osoby trzy badania o p<0.5 będą się wydawać dużo silniejsze niż jedno o p<0.05.

A, czynnik ten można „na oko” oszacować patrząc na rozmiar próby. Im większa tym lepsza – na moim wydziale sugerowano, że nic poniżej 100 nie ma większej wartości. (Czyni to rzecz jasna problematycznymi badania nad rzadkimi chorobami czy używając drogich i/lub powolnych procedur jak skany mózgu używając fMRI.)


Po przeprowadzeniu tych wszystkich badań, ich proces, wyniki, itp. spisuje się i wysyła do publikacji naukowej. Tam przechodzi ona pierwszy etap tzw. recenzji koleżeńskiej (peer review). Określona grupa recenzentów, innych fachowców z danej dziedziny (zwykle trójka) otrzymuje po egzemplarzu tej publikacji i stara się wskazać na ewentualne błędy i ocenić, czy publikacja nadaje się do druku, czy wnosi nową wartość. (Często autor jest przy tym anonimizowany, dla zwiększenia obiektywności recenzji.) Po autorskiej korekcie ewentualnych błędów wskazanych na tym etapie, publikacja ponownie przechodzi ten proces i jeśli wszystko jest ok, zostaje opublikowana.

Są rzadkie sytuacje, gdy badanie na tym etapie nie jest poddawane recenzji koleżeńskiej, tylko idzie wprost do druku. To tzw. przywilej redaktorski (editorial privilage) i trzeba wprost powiedzieć, że jest to jedna z większych patologii we współczesnej nauce. Na szczęście tak czy tak pozostaje nam drugi poziom recenzji koleżeńskiej – bo opublikowane badanie może być następnie analizowane, weryfikowane, krytykowane i powtarzane przez innych naukowców. Kiedyś dyskusja o nim była ograniczona do samych pism naukowych, dziś internet daje do tego dodatkowe pole. To umożliwia lepszą i pełniejszą weryfikację różnych pomysłów i stanowi jedną z głównych wartości nauki. Sednem nauki nie są same badania, ale właśnie ten proces kontroli koleżeńskiej, pozwalający wyłapywać błędy, przypadkowe wyniki, ponownie testować dane koncepcje, itp.

No dobrze, masz już ogólny zarys tego jak prowadzić badania i pewien podstawowy aparat pojęciowy, który pozwoli Ci lepiej zrozumieć jak działają publikacje naukowe. W kolejnym wpisie przyjrzymy się temu,jak zbudowane są typowe publikacje naukowe i jak je czytać.



Jeszcze tylko kilka dni zostało na skorzystanie z przedpłaty na wiosennego Praktyka Beyond NLP! 17-25 marca 2018, Warszawa, 9 dni intensywnej pracy nad sobą. Więcej informacji znajdziesz TUTAJ


Jeśli lubisz te materiały, polub i fanpage bloga :)


Podziel się tym tekstem ze znajomymi:
Następny wpis
Poprzedni wpis
  • Kamil Kaczmarek

    Jednym z głównych problemów przy czytaniu badań jest to, że są napisane bardzo skomplikowanym językiem. Np. zbadano (lubię takie rekursje ;)), że im bardziej skomplikowany język badania (nie zmieniając przy tym sedna treści, metodologii i wyników), tym większe ma ono szansę na przyjęcie (i to jest chore). Wszystko jest opisywane strasznie formalnie i mdło. Niezwykle ekscytujące wyniki są neutralizowane do zera. Owszem, merytoryka często wymaga takiego powściągliwego podejścia, ale już się sugeruje, by wrzucić w te artykuły trochę emocji i kreatywności trzymając przy tym odpowiedni rygor intelektualny. Choćby dlatego, że dużo łatwiej się wtedy zapamiętuje treść i jej istotność, a to również ważne.

    Inne sprawy, o których pewnie napiszesz to: trudność w odszukiwaniu artykułów i dostęp do nich (czasopisma śpiewają sobie za to grube dolary – uczelnia twoim wybawicielem ;)).