Jak czytać badania naukowe? Cz. 2

W poprzednim wpisie przedstawiłem nieco podstawowych pojęć, których zrozumienie jest niezbędne do sensownej lektury publikacji naukowych. W tej chciałem przyjrzeć się strukturze samych publikacji.

Ogólnie rzecz biorąc, artykuły naukowe można podzielić na trzy duże kategorie.

Kategoria pierwsza to podstawowe artykuły, najczęściej opisujące jakiś konkretny eksperyment. W tej kategorii mieszczą się też – nieco rzadsze – artykuły ze studiami przypadku czy propozycją nowego podejścia do jakiegoś problemu. Największą wadą artykułów tego poziomu jest stosunkowo duże ryzyko uzyskania błędnych wyników, czy to ze względu na czysty przypadek (kłania się czynnik p wspomniany w poprzednim artykule), czy np. przez błąd w projekcie badania. Dlatego pojedyncze badania tego poziomu są dla nas co najwyżej luźną wskazówką. Dopiero gdy badań jest więcej, najlepiej ze strony różnych zespołów, dane wyniki zaczynają mieć jakąś sensowną wartość.

Jeśli badań w określonym temacie zbierze się dostatecznie wiele, możliwe jest przeprowadzenie (i opublikowanie) tzw. meta-analizy, czyli zastosowanie zaawansowanych technik statystycznych do zebrania danych z wielu różnych badań i przeanalizowanie ich jako całości. To czyni nowe dane dużo bardziej wiarygodnymi i trafniej opisującymi rzeczywistość. Dlatego jeśli szukasz wyników w jakimś temacie, warto zacząć od poszukiwania właśnie drugiej kategorii publikacji, czyli meta-analiz. Albo od razu trzeciej, czyli…

Systematycznych przeglądów badań. O ile w pierwszej kategorii publikacji znaleźć można czasem przeglądy badań, zbierające wyniki kilku różnych publikacji i podsumowujące je dla czytelnika, o tyle systematyczny przegląd to oddzielna kategoria. Jak sama nazwa wskazuje, opiera się on na przeanalizowaniu całej dostępnej literatury z danego tematu, przy zastosowaniu z góry założonych kryteriów, wg. których dane publikacje będą a) wyszukiwane oraz b) włączane lub odrzucane z zakresu przeglądu. (Np. wyszukiwane wszystkie publikacje dostępne w bazie publikacji naukowych EBSCO z hasłem „depresja” w tytule lub słowach kluczowych, włączone wszystkie próby kliniczne z grupą badaną minimum 50 osób i grupą kontrolną, dodatkowo odrzucane wszystkie publikacje w których pojawiła się deklaracja potencjalnego konfliktu interesów.) Systematyczne przeglądy badań to najwyższa kategoria wiarygodności – jeśli masz tą opcję, warto opierać się właśnie na nich.


No dobrze, a co znajdziemy w typowym badaniu? Najczęściej ma ono bardzo powtarzalną strukturę – zarysujmy ją teraz, a potem szczegółowo omówmy. Na pierwszej stronie znajdziesz Tytuł, Autorów wraz z ich afiliacją, Streszczenie, Słowa Kluczowe oraz, najczęściej, początek Wprowadzenia. Następnie pojawią się Materiały i Metody, Wyniki, Dyskusja i ewentualnie podsumowanie. Każda publikacja naukowa będzie podsumowana Bibliografią, niekiedy na końcu zostaną też dodane różne tabele lub grafiki (kiedy indziej umieszczane są one w treści artykułu). Przyjrzyjmy się tym częściom bardziej szczegółowo.

A, jedna ważna uwaga. Z niewielkimi wyjątkami, językiem nauki jest angielski. (Wyjątki – np. niektóre dziedziny fizyki mają silną reprezentację niemiecką.) Z tym nie ma dyskusji. Raczej też się to nie zmieni – bo istotnym kryterium jest tu powszechność i replikowalność. Z tego względu publikacje anglojęzyczne z miejsca zyskują ogromny bonus do wiarygodności, względem publikacji krajowych.



Przerwa na reklamę ;)


Chcesz dojść do siebie po zakończonym związku? Pakiet Autocoachingowy Odkochanie pomoże Ci o to zadbać!


Wracamy do artykułu :)



Kawałek po kawałku – co znajdziemy w typowym artykule i jaką warto na to zwrócić uwagę?

Tytuł zwykle nie zawiera w sobie zwykle niczego niezwykłego – ot, tytuł artykułu, czasem suchy, czasem nieco marketingowy, tak by zachęcić ludzi do przeczytania danego artykułu i umieszczenia go w swoim własnym. W świecie nauki bardzo istotnym kryterium jest bowiem tzw. ilość cytowań – im częściej Twój artykuł jest cytowany w innych artykułach, tym bardziej musiał być wartościowy i tym lepsza Twoja pozycja jako naukowca, większe szanse na granty, itp. (Bywa to niekiedy okrutnie nadużywane, ale zwykle nieźle się sprawdza.) W minionych latach widać w związku z tym stopniowy trend odchodzenia od suchych tytułów w kierunku bardziej marketingowych.

Skoro jesteśmy przy tytule, dwa słowa o tym, gdzie dane pismo jest publikowane. Przez długie dziesięciolecia model biznesowy pism naukowych był jeden – naukowcy publikowali w nich za darmo, dla prestiżu naukowego, a wydawca sprzedawał pisma z artykułami do uniwersytetów za grube pieniądze. Model ten został w ostatnich dziesięcioleciach poddany surowej krytyce – jest dość wolny, ale też po prostu nieuczciwy wobec podatników, którzy najpierw opłacają prace naukowców, a potem, jeśli chcą zapoznać się z jej wynikami, muszą ponownie zapłacić i to grube pieniądze. (Dostęp do pojedynczego artykułu może zwykłego Kowalskiego kosztować nawet ponad sto dolarów!) Alternatywą dla tego modelu zaczął być więc tzw. model otwartego dostępu. W tym modelu to uniwersytety/badacze płacą za publikację (zwykle kilkaset dolarów, niekiedy kilka tysięcy), oczywiście dopiero po korekcie recenzenckiej i akceptacji, a dostęp do artykułów jest darmowy. Niestety, ten model tworzy przestrzeń dla tzw. drapieżnych pism, bezwartościowych szmatławców, które opublikują każdy szajs (łącznie, dosłownie, z artykułem składającym się ze zdania „ten artykuł to szajs” powtarzanego w kółko przez 13 stron), bez żadnej recenzji, jeśli tylko dostaną kasę. Choć ten trend dotyczy stosunkowo niewielkiej grupki pasożytów, to jednak czyni to niestety wszelkie publikacje z otwartego dostępu nieco mniej wiarygodnymi, niż te z zamkniętego. Co oczywiście rodzi oddzielne problemy. (Mała podpowiedź – autorzy publikacji z zamkniętego dostępu często udostępniają je za darmo na swoich uniwersyteckich stronach WWW lub z przyjemnością wysyłają mailem po prośbie.) Jak cała sprawa zostanie rozwiązana – przekonamy się w kolejnych latach, obecnie trzeba działać w ramach tego co jest.


Po tytule pojawiają się Autorzy, opisani także pod kątem miejsca pracy. To ważne (zwłaszcza dla zwolenników teorii spiskowych), bo dość łatwo się przekonać czy badacz pracuje na państwowym uniwersytecie, czy w prywatnej firmie. (Jasne, czasem prywatne firmy sponsorują uniwersyteckie badania – od tego jest deklaracja ewentualnych konfliktów interesów, które znajdziemy zwykle na pierwszej stronie, albo, alterntywnie, pod koniec tuż przed bibliografią. Zawodowi naukowcy są w tych deklaracjach raczej uczciwi, bo wilczy bilet za nieuczciwość za bardzo uderza w karierę.)


Następnie mamy Abstrakt/Streszczenie, czyli krótkie podsumowanie całej publikacji. To dobre miejsce by rozeznać, czy dana publikacja w ogóle mówi o tym, co nas interesuje. (Np. czy o NLP jako programowaniu neurolingwistycznym, czy o Natural Language Processing ;) ) Abstrakty w zasadzie zawsze można przeczytać za darmo, także w publikacjach zamkniętego dostępu. Nie powinno się jednak opierać tylko na nich. Po Streszczeniu dodaje się zwykle słowa kluczowe, pojedyncze hasła po których poszukujący badań na dany temat mogą się szybko rozeznać.


Pierwsza część faktycznego artykułu, zwana zwykle po prostu Wprowadzeniem, ma na celu krótkie przywołanie kontekstu dla reszty artykułu. Nauka nie odbywa się w próżni. Przeciwnie, pożyczając słynny cytat, naukowcy „Stoją na ramionach gigantów.” Dlatego nowe badania należy zawsze odnieść do dotychczasowych badań i wyników w danym temacie. Jest to o tyle fajne, że nawet osoby niezbyt ogarnięte w temacie mają okazję się w nim nieco zorientować. (Choć oczywiście nie należy raczej oczekiwać tłumaczenia na poziomie całkowitych laików, po prostu nie ma na to miejsca ani czasu.) Jeśli badanie jest replikacją (próbą powtórzenia) innego, będzie to wspomniane w tym miejscu. W kontekście wartości artykułu warto zwrócić uwagę na to, czy Wprowadzenie odnosi się do w miarę aktualnych publikacji, czy skupia na starych. (Istnieje wtedy duże ryzyko, że pomija jakieś istotne dla całego tematu.)


Materiały i Metody, Metodologia, jakkolwiek to zwiesz, w kontekście oceny wiarygodności artykułu to prawdopodobnie najważniejsza sekcja. To tu możemy sprawdzić rozmiar próby. (Im większa tym lepiej, ale uwaga! Jeśli mamy np. 200 osób badanych podzielonych na 10 grup po 20 osób, to rozmiar próby to 20 osób, nie 200!) Możemy sprawdzić, czy była użyta grupa kontrolna (to ona pozwala nam sprawdzić, czy uzyskany efekt pochodził z testowanej rzeczy, czy jest potencjalnie konsekwencją innej, przypadkowej i niebadanej rzeczy). Możemy sprawdzić, czy zastosowano zaślepienie (lub, idealnie, podwójne zaślepienie). Oczekiwania osób badanych (oraz badaczy) mogą wpływać na wyniki badań, dlatego najlepiej by osoby badane nie podejrzewały co konkretnie jest badane lub do której grupy należą (zaślepienie próby). Jeśli to możliwe, należy też zaślepić badaczy bezpośrednio biorących udział w badaniu, takby ich oczekiwania nie wpłynęły na badanych lub nie zasygnalizowały im do której grupy należą (podwójnie zaślepiona próba). Można to zrobić np. przez zaszyfrowanie przynależności do grup na czas badania lub użycie asystentów nieświadomych realnego celu badania. Niekiedy stosuje się też testy poeksperymentalne – czy badani potrafią zgadnąć czego dotyczył eksperyment i w jakiej byli grupie – i odrzuca wyniki takich osób. W przypadku systematycznego przeglądu to w tej sekcji znajdziemy kryteria dokonywanego przeglądu.


Rezultaty/Wyniki to sekcja poświęcona konkretnym wynikom badania, zwykle wraz z krótkim omówieniem statystycznym. Tym, co powinno Cię tu interesować jest zarówno istotność wyników, jak i ich siła. Wyniki istotne, ale słabe są często opisywane przez media jako ogromny przełom, a w praktyce mogą po prostu nie być warte wysiłku do wprowadzenia danej metody. Warto o tym pamiętać. Warto tu też patrzeć na różne dane, np. niektóre metody krótkoterminowo mogą mieć świetne wyniki, ale długoterminowo być do kitu. Dobrze jest więc patrzeć na całość analizowanych treści.


Dyskusja to część w której badacze wracają do ogólnego kontekstu badania i próbują w nim umieścić wyniki przeprowadzonego badania. W tej części omawiane są też ewentualne słabości badania (dobrzy autorzy pierwsi będą wskazywali na ograniczenia swojej pracy) oraz sugerowane są dalsze kroki, kierunki badań, itp. Z perspektywy osoby analizującej badanie, dyskusja może też dać ciekawe wskazówki jakie kolejne tematy lub konkretne publikacje warto zgłębić. Niekiedy po dyskusji dodaje się oddzielny dział Wnioski/Podsumowanie, niekiedy jest to po prostu element samej dyskusji.


Ostatnim elementem artykułu z badaniami jest bibiografia, czyli zbiór wszystkich publikacji do których odnosił się dany artykuł. Dzięki temu łatwo prześledzić argumentację autorów, zweryfikować czy źródła na które się powołują faktycznie piszą to, co twierdzą, że piszą, itp. Wymaga to nieco wysiłku od czytającego, ale bywa przydatne zwłaszcza przy artykułach niskojakościowych, gdzie często cytowane są artykuły mające niewiele wspólnego z tym, co im się przypisuje. (Praktyka ta jest jeszcze popularniejsza w internecie oraz w różnych książkach czy pismach pseudonaukowych.) Zresztą, powiedzmy sobie szczerze – praktyka umieszczania w bibliografii publikacji, które zna się tylko z abstraktów jest dość powszechna. Nie jest chwalebna, ale potrafię ją zrozumieć. (Jeden z moich profesorów lubił kpić ze studentów regularnie cytujących pewne klasyczne badanie z psychologii, którego nie dało się znaleźć w internecie i nie było też w Polsce wersji drukowanej…) Ilość treści do przyjęcia we współczesnej nauce jest kolosalna. Gorsza jest natomiast inna jej wersja, gdzie autor nie zna nawet abstraktu cytowanej publikacji i cytuje ją wtórnie za innym artykułem, nie zaznaczając tego (bo da się to zaznaczyć!). Albo w ogóle przywołuje coś, co nijak nie odnosi się do postulowanej tezy, ale np. pada tam jakieś słowo kluczowe. Takie praktyki są haniebne i należy je tępić.


Mam nadzieje, że to krótkie podsumowanie pozwoliło Ci lepiej zrozumieć z jednej strony wartość nauki i publikacji naukowych, a z drugiej lepiej zrozumieć czytane artykuły i trafniej z nich wnioskować.



Jeszcze tylko kilka dni zostało na skorzystanie z przedpłaty na wiosennego Praktyka Beyond NLP! 17-25 marca 2018, Warszawa, 9 dni intensywnej pracy nad sobą. Więcej informacji znajdziesz TUTAJ


Jeśli lubisz te materiały, polub i fanpage bloga :)


Podziel się tym tekstem ze znajomymi:
Następny wpis
Poprzedni wpis
  • Zdzisiu

    Zacny artykuł. Będzie trzecia część? Może potrafisz podać miejsca, w których znajdziemy takie badania (zarówno otwarte jak i zamknięte)?

  • Piotr Bekier

    Arturze a czy jest może jakaś książka która właśnie poruszała by kwestie czytania badań naukowych i kwestii które opisałeś w obydwu częściach tego cyklu?

    • Ben Goldacre napisał dwie dobre książki w temacie, obydwie wyszły u nas.

      • Piotr Bekier

        ooooooo super !!!!!! Dzięki wielkie :)