Niektórzy z Was zwracali mi uwagę, że tak często powołując się na badania w dyskusji mogę zniechęcać pewną część czytelników, którzy badań po prostu nie potrafią czytać.

To słuszna uwaga. Rozwiązania widzę dwa, jedno sensowne, drugie absurdalne. Absurdalnym byłoby zaprzestanie sięgania do badań. Nie miałoby to sensu, bo stracilibyśmy wtedy najlepsze źródło do opisu rzeczywistości, jakim dysponujemy. Sensownym rozwiązaniem jest to, czego spróbuję się podjąć w tym artykule – czyli wyjaśnienie jak czytać ze zrozumieniem badania naukowe.

Jako wsparcie do artykułu zachęcam przeczytać „Co to znaczy twarde dowody” oraz „Ty mi znajdziesz badanie, a ja Ci znajdę badanie mówiące co innego„.

Badania naukowe są naszymi najlepszymi narzędziami do poznawania rzeczywistości. Nie są narzędziem idealnym. Są obciążone ogromną ilością wad i ograniczeń. Tylko na ten moment po prostu nie mamy niczego, co choćby zbliżałoby się do ich skuteczności. Mimo tych wszystkich wad i ograniczeń.

Musimy opierać się na metodzie naukowej, ponieważ nasz nagi mózg po prostu nie nadaje się do trafnego wnioskowania na temat rzeczywistości. Ewoluował by pomóc nam przetrwać i rozmnożyć się na sawannie 60 tysięcy lat temu, nie do opisu fundamentalnych prawd wszechświata. To dlatego wynalezienie metody naukowej w XIX wieku dało podstawę do tak gwałtownego rozwoju wiedzy i technologii. W końcu dostaliśmy narzędzie, które w wystarczający sposób wspomagało nasz mózg. Narzędzie wolne, kosztowne i wadliwe. Narzędzie wielokrotnie usprawniane przez lata. Ale przede wszystkim: narzędzie które jako-tako działa.


Problem w tym, że nie jest to łatwe narzędzie. Jest stosunkowo złożone. Do tego tak naprawdę nie jesteśmy go uczeni przez większość naszej edukacji – pojawia się dopiero na poziomie studiów, a i to nie na każdym kierunku.

Nic dziwnego, że dla większości ludzi nauka to taka trochę czarna magia. „Kapłani” ogłaszają głębokie prawdy, a wierni muszą je przyjmować. W rzeczywistości nauka działa zupełnie inaczej, ale skąd ludzie mają o tym wiedzieć?


Jednym z podstawowych ograniczeń naszego mózgu jest nasza ogromna zdolność do znajdywania dowodów na przyjęte założenia. Jeśli uwierzymy w jakąś rzecz, jesteśmy z miejsca ekspertami w jej dowodzeniu.

Dlatego metoda naukowa zaczyna się od możliwości falsyfikacji. Innymi słowy, czy badaną hipotezę da się w jakiś sposób odrzucić? Np. jeśli wierzę, że mam w kuchni niewidzialnego demona, który jest w stanie oszukać wszelkie metody jego wykrywania, to jest to hipoteza nie do odrzucenia. Każdy pomiar nie wskazujący na obecność demona można bowiem zignorować, twierdząc, że demon oszukał urządzenie.

Tezy, które nie są falsyfikowalne, nie podlegają nauce. Nie mają też większego znaczenia w realnym życiu, to takie fotelowe dumanie. Aby nauka czymś się zajęła, musi to być falsyfikowalne. Jeśli chcesz badać jakieś założenie przy użyciu nauki, to musisz nie tylko być gotowy na jego odrzucenie, ale też mieć jakieś kryteria, których spełnienie będzie wymagało odrzucenie tego założenia. To ryzyko, ale hej, bez ryzyka nie ma zabawy!


Ze względu na te kryteria falsyfikacji, hipotezy badawcze formułuje się w ten sposób, aby próbować ODRZUCIĆ badaną hipotezę. Dopiero, jeśli się to nie uda, uznaje się, że hipoteza z pewnym prawdopodobieństwem jest prawdziwa. Wszystkie badania projektuje się z tym założeniem.

Co bardzo istotne, projekt badania powinien być przygotowany zanim weźmiemy się za jego przeprowadzenie. Gdy już rozpoczniemy badanie, należy je dokończyć zgodnie z uprzednimi założeniami. (Bardzo rzadko w testach medycznych robi się od tego uzasadniony wyjątek, gdy np. okazuje się, że terapia A ma tak kolosalną przewagę nad terapią kontrolną, że krzywdzilibyśmy pacjentów poddawanych terapii kontrolnej.)  To przestrzeganie procedury jest o tyle ważne, że bez odpowiedniej dyscypliny możemy łatwo zmanipulować wynikami badania, np. przerywając je wtedy, gdy pasuje do naszej tezy i nie ryzykując wtedy odkrycia, że te pozytywne wyniki były tylko chwilowym szumem statystycznym. (Lub, vice versa, przedłużając poza przewidziany czas, licząc, że w dłuższym okresie czasu pojawią się sprzyjające nam wyniki.)

Ta procedura badawacza, łącznie z rozmiarem grup, sposobem rekrutacji – jeśli badanie dotyczyło ludzi – i innymi ważnymi informacjami, powinna być opisana w każdym artykule badawczym w sekcji zatytułowanej „Metodologia”, „Materiały i metody”, itp. Do typowych sekcji artykułu wrócimy jeszcze później.



Przerwa na reklamę ;)


Książka "Status: Dominacja, uległość i ukryta esencja ludzkich zachowań". Unikatowy tom, wprowadzający Cię w te aspekty ludzkiej komunikacji, które z jakiegoś dziwnego powodu są w psychologii społecznej pewnym tabu. Cóż - ich zrozumienie jest tym bardziej cenne. 

Dostępna w druku i jako e-book, tylko na MindStore.pl

 

Wracamy do artykułu :)



Po przeprowadzeniu badania, zebrane wyniki analizowane są przy użyciu różnych narzędzi statystycznych. To, co nas tu interesuje przede wszystkim, to:

  • czy wystąpił jakiś efekt?
  • jeśli wystąpił, to jak duży był ten efekt (tzw. rozmiar efektu/effect size)?
  • niezależnie od rozmiaru, czy efekt ten był istotny statystycznie (tzw. statistical significance)?

Zatrzymajmy się chwilę nad tym ostatnim kryterium. Dlaczego jest ono tak istotne? Pamiętasz to co pisałem o wadach metody naukowej? Cóż, wyniki badań mogą być często uzyskane czystym przypadkiem. Jeśli przeprowadzilibyśmy 1000 identycznych badań mając absolutną pewność, że dany efekt nie występuje i hipoteza jest fałszywa, to w X badań z tego tysiąca błędnie wyszłoby, że jednak efekt występuje i hipoteza jest prawdziwa. Ów X będzie tym mniejszy, im większe próby używane są w badaniu, oraz im silniejszy efekt został zaobserwowany. Zawsze jednak będzie występował. Zawsze będzie istniało ryzyko, że dane badanie uzyskało wynik tylko przypadkiem.


Jak duże ryzyko? To opisuje nam coś, co w statystyce zwie się „p” i jest właśnie (w uproszczeniu) miarą prawdopodobieństwa tego, że dany wynik jest wynikiem czysto przypadkowym. W większości pism naukowych uznaje się za dopuszczalne p<0.05, a preferowane p<0.005. (Innymi słowy- szanse mniejszą niż 1/20, a najlepiej niż 1/200, że dany wynik był przypadkowy). Czynnik p ma wiele wad i ograniczeń i nie można patrzeć tylko na niego, jest on jednak dość istotnym kryterium minimalnym w ocenie wiarygodności badań.

Sprawia on też, że zwykle jedno silne badanie będzie lepsze niż wiele słabych. Łatwo to policzyć – badanie z p<0.05 ma (w uproszczeniu) 1/20 szans na bycie fałszywym, z p<0.005, 1/200.  Czyli na dopiero 10 badań z p<0.05 będzie miało taką wiarygodność, jak jedno z p<0.005.

Czynnik p jest przy tym, trzeba ostrzec, bardzo podatny na celowe manipulowanie (tzw. „p hacking”), np. przesiewanie ogromnych ilości danych statystycznych celem znalezienia jakichś przypadkowych zależności, które akurat wyjdą istotne. To jedno z tych zachowań surowo tępionych w środowisku naukowym. Na ten moment warto po prostu, żebyś wiedział, że warto zwracać uwagę na p, oraz że siła kolejnych progów p rośnie bardzo znacząco – bardziej, niż sugeruje nam intuicja. Bo dla typowej osoby trzy badania o p<0.05 będą się wydawać dużo silniejsze niż jedno o p<0.005.

A, czynnik ten można „na oko” oszacować patrząc na rozmiar próby. Im większa tym lepsza – na moim wydziale sugerowano, że nic poniżej 100 nie ma większej wartości. (Czyni to rzecz jasna problematycznymi badania nad rzadkimi chorobami czy używając drogich i/lub powolnych procedur jak skany mózgu używając fMRI.)


Po przeprowadzeniu tych wszystkich badań, ich proces, wyniki, itp. spisuje się i wysyła do publikacji naukowej. Tam przechodzi ona pierwszy etap tzw. recenzji koleżeńskiej (peer review). Określona grupa recenzentów, innych fachowców z danej dziedziny (zwykle trójka) otrzymuje po egzemplarzu tej publikacji i stara się wskazać na ewentualne błędy i ocenić, czy publikacja nadaje się do druku, czy wnosi nową wartość. (Często autor jest przy tym anonimizowany, dla zwiększenia obiektywności recenzji.) Po autorskiej korekcie ewentualnych błędów wskazanych na tym etapie, publikacja ponownie przechodzi ten proces i jeśli wszystko jest ok, zostaje opublikowana.

Są rzadkie sytuacje, gdy badanie na tym etapie nie jest poddawane recenzji koleżeńskiej, tylko idzie wprost do druku. To tzw. przywilej redaktorski (editorial privilage) i trzeba wprost powiedzieć, że jest to jedna z większych patologii we współczesnej nauce. Na szczęście tak czy tak pozostaje nam drugi poziom recenzji koleżeńskiej – bo opublikowane badanie może być następnie analizowane, weryfikowane, krytykowane i powtarzane przez innych naukowców. Kiedyś dyskusja o nim była ograniczona do samych pism naukowych, dziś internet daje do tego dodatkowe pole. To umożliwia lepszą i pełniejszą weryfikację różnych pomysłów i stanowi jedną z głównych wartości nauki. Sednem nauki nie są same badania, ale właśnie ten proces kontroli koleżeńskiej, pozwalający wyłapywać błędy, przypadkowe wyniki, ponownie testować dane koncepcje, itp.

No dobrze, masz już ogólny zarys tego jak prowadzić badania i pewien podstawowy aparat pojęciowy, który pozwoli Ci lepiej zrozumieć jak działają publikacje naukowe. W kolejnym wpisie przyjrzymy się temu,jak zbudowane są typowe publikacje naukowe i jak je czytać.



Masz pytanie z zakresu kompetencji miękkich/soft skills? Kanał Self Overflow dostarcza odpowiedzi z tego zakresu, dostosowanych w szczególności do potrzeb osób z sektora IT. Co tydzień nowe filmy z odpowiedziami na pytania od naszych widzów!

Przykładowe pytania:

 

Podziel się tym tekstem ze znajomymi:
Następny wpis
Poprzedni wpis