O co chodzi z tą metodą naukową?

Przy okazji jednej z dyskusji, w której brałem udział zasugerowano mi przedstawienie krótkiego wyjaśnienia tego czym jest metoda naukowa i dlaczego jest lepsza od opieraniu się na doświadczeniu. Efekt znajdziesz poniżej :)


O co chodzi z tą metodą naukową?

Kiedy próbujemy ocenić czy coś działa – np. czy dany lek pomaga wyzdrowieć w przypadku danej choroby -mamy przed sobą duże wyzwanie. W normalnej sytuacji może być masa czynników, których nie bierzemy pod uwagę – indywidualny stan zdrowia, wpływ innych leków, genetyka, niedoleczone inne choroby, itp. Dlatego tak naprawdę nie jesteśmy w stanie powiedzieć w oparciu o pojedynczy przypadek, czy coś zadziałało, czy nie – próbujemy przypisać skutek przyczynie, ale może to być po prostu nietrafne. Możemy zakładać, że dany lek pomógł – a tak naprawdę to dana osoba miała po prostu silny organizm, który sam zwalczył chorobę – i przypadkiem miało to miejsce niedługo po podaniu leku.

Stąd metoda naukowa. Polega ona na takim zaaranżowaniu sytuacji, aby dało się porównywać tylko jedną kluczową zmienną (czyli rzecz, której skuteczność chcemy sprawdzić) i jej wpływ na całą sytuację. Uzyskujemy to dzięki kilku zagraniom, z których najważniejsze to:

a) Dobór odpowiednio dużej próby (czyli zwykle odpowiednio dużej grupy ludzi) – dzięki temu te wszystkie inne czynniki, mogące zaburzać wynik, będą się losowo rozkładały w całej próbie. Niektórym osobom genetyka pomoże, inni będą mieli gorsze geny w danym kontekście, itp. Wszystkie wpływy się rozłożą po równo i ich efekt będzie zniwelowany, zostanie tylko efekt samej badanej zmiennej.

b) Próba musi być też reprezentatywna – tzn. stanowić stosunkowo typowy wycinek populacji, co do której chcemy wyciągać wnioski. Gdybyśmy np. mieli w próbie za dużo osób w bardzo dobrym stanie zdrowia, albo za dużo poważnie chorych, wyniki byłyby zakrzywione. Podobnie, gdybyśmy prowadzili sondaż przedwyborczy w siedzibie którejś z partii, wyszłoby na to, że ta partia ma 100% poparcia – ale przecież w wyborach będą głosowali też zwolennicy innych partii.



a) i b) pozwalają nam sprawdzić wpływ zmiennej. ALE zawsze jest ryzyko, że aparatura pomiarowa jest błędna, albo że badacz jest uprzedzony i podświadomie selektywnie dobiera wyniki. Dlatego stosujemy też…

c) Replikację – a więc powtórzenie badania przez inny zespół, w innym miejscu i czasie. Im więcej replikacji – tym bardziej wiarygodny wynik. Wszystkie wyniki ocenia się bowiem miarą wiarygodności – od tego mamy taką wartość jak „p”, które w uproszczeniu mówi nam o tym, jaka jest szansa na to, że uzyskane wyniki wyszły nam czysto losowo. Oczywiście, im niższe „p” tym lepiej. Replikacje wymagają też, by cała procedura była wystandardyzowana – tzn. by proces badania dało się powtórzyć niezależnie.

Ale… co jeśli replikacje dają różne wyniki? Wtedy mamy

d) Metaanalizy i systematyczne przeglądy literatury – czyli metody przeglądu dużej ilości badań w określonym temacie i łączenia ich wyników w jedną całość. Narzędzia metaanalizy są już tak rozbudowane, że potrafimy nawet wychwycić sytuacje, w której jakieś wyniki nie były publikowane (np. ktoś wykonał replikację badania, nie uzyskał potwierdzenia, ale uznał, że musiał się pomylić i nie oddał tych wyników do druku w publikacji naukowej).



A’propo publikacji naukowych, od tego mamy jeszcze mechanizm piąty, czyli

e) Proces peer-review, czyli recenzji koleżeńskiej. Wyniki badań nie są po prostu publikowane ot tak – musisz je poddać tzw. recenzji koleżeńskiej, analizie przez kolegów po fachu, którzy wychwycą ew. błędy i nadużycia.

f) Peer-review działa też wstecznie, co jakiś czas weryfikuje się opublikowane badania szukając w nich ew. problemów i czy nowych, niedostrzeżonych zależności i wielu naukowców zbudowało na tym swoją karierę.


Żaden z tych systemów sam w sobie nie jest idealny. Ale połączone tworzą bardzo ciasne sito, które pozwala nam dotrzeć do tego co działa, w oparciu o doświadczenia nie jednej osoby, a setek albo tysięcy, wyizolowane od całej tej masy czynników zaburzających oraz wyizolowane od indywidualnych uprzedzeń badaczy i poddane niezależnej weryfikacji całej procedury. Dzięki temu nauka pozwala nam stwierdzić co działa, a co nie – obiektywnie.

Test tube


Rekrutacja na wiosennego Praktyka Beyond NLP już się rozpoczęła :) Zarezerwuj swoje miejsce już teraz i skorzystaj ze zniżki w przedpłacie! Więcej informacji znajdziesz na BeyondNLP.pl


Jeśli lubisz te materiały, polub i fanpage bloga :)


Podziel się tym tekstem ze znajomymi:
Następny wpis
Poprzedni wpis
  • Czyli chodzi o to, żeby
    – wprowadzić zmianę/czynnik
    – sprawdzić jaką różnicę przyniesie względem grupy gdzie nie było zmiany/czynnika

    W zasadzie to się stosuje wszędzie żeby znaleźć coś co działa lepiej niż obecnie. Strony internetowe, badania naukowców, reklamy, leki i tak dalej.

    Faktycznie, największy problem to jednak nie zrobić badanie, tylko mieć pewność że wynik to nie przypadek i że stanowi powtarzalną regułę.

  • Jan

    Czyli przedstawiasz opieranie się na doświadczeniu jako nic nie warte ? Mam wrażenie że sporo Twoich porad na blogu jest oparte na doświadczeniu, choćby i kilka punktów z poprzedniego artykułu „10 rzeczy które robimy z żoną, których nie robią znane nam pary”, czy tak jest ? Nawet jakbyś i miał badania do każdego wpisu to każdy wpis nie jest wiarygodny bo nie przedstawia on wyników badań :)

    • Jan – z przyczyn czysto praktycznych ograniczeń w niektórych przypadkach będziemy się musieli opierać na doświadczeniu. Jeśli jednak mamy do wyboru doświadczenie i badania, zdecydowanie należy opierać się na badaniach. Dodatkowo w wielu przypadkach mamy do czynienia z czymś, co można określić jako tzw. prior probability – „czy w świetle dostępnej wiedzy na dany temat, ta rzecz ma szanse działać i z jakim prawdopodobieństwem?” – i warto polegać również na nim.

      Opieranie się na doświadczeniu jest przydatne gdy chcemy coś subiektywnie ocenić („czy ja to lubię, czy mnie się to podoba”), jak również w sytuacji gdy potrzebujemy zmiany emocjonalnej, a nie poznawczej – doświadczenie może takiej dostarczyć (a emocjonalna w efekcie może prowadzić do poznawczej). Natomiast do wyciągania wniosków n.t. natury świata i procesów w nim zachodzących -nie, tu po prostu nie działa za dobrze.

  • Piotr

    Artur, czy ten schemat (wzór) mechanizmów w badaniach naukowych jest standardowym w każdym środowisku naukowym? Mam tutaj na myśli to czy każde badanie naukowe ma te kroki czy może gdzie indziej jest ich więcej albo jakieś środowisko stosuje może inną nomenklaturę tych mechanizmów?

    Przyznam, że ten post trochę bardziej przybliżył mi i rozjaśnił w głowie na czym polegają te badania do których tak często się odwołujesz ;p

    Rozumiem, że wszystkie metody, których uczysz na beyond nlp np. panorama społeczna albo ćwiczenie zmiany historii (z książki o pewności siebie) są zweryfikowane przez naukę i uznane jako działające? ;p

    • W poszczególnych naukach szczegółowa procedura może się różnić – np. zamiast zebrać dużą grupę ludzi, w fizyce będziemy zwykle robili po prostu dużą ilość prób – natomiast ogólny schemat działania (duża, reprezentatywna próba, peer review, metaanalizy i systematyczne przeglądy) są podstawą. Oczywiście są nauki, gdzie nie do końca da się to wprowadzić w życie – np. długoterminowy wpływ różnych diet trudno badać przypisując ludzi losowo do określonej diety i każąc im ją jeść przez kolejnych 20 lat – ale też w naturalny sposób do wyników takich gorszych jakościowo badań podchodzi się z większym dystansem.

      Jeśli chodzi o metody które stosuje i których uczę, są albo bezpośrednio zweryfikowane badaniami, albo opierają się na wysokim tzw. prior probability – czyli „nie zbadaliśmy dokładnie tego mechanizmu jeszcze, ale w świetle dotychczasowych badań istnieje duże prawdopodobieństwo, że taki mechanizm może działać”.

  • Retiarius

    Arturze!
    A co z podwójnie ślepą próbą?
    Wszak to jądro badania wszelkiego.

    • Ratiarius, podwójnie ślepa próba odnosi się głównie do testów klinicznych, ponieważ chciałem się tu odnieść do szeroko rozumianych badań nie wchodziłem już w ten detal.

  • Inanna

    Problem w tym, że badania często badają to samo z innej strony i dochodzą do różnych, sprzecznych wniosków. Jest taka przypowieść o ślepych mnichach, którzy badali słonia, każdy podszedł do niego z innej strony i każdy uzyskał diametralnie różne wyniki obserwacji. Ile razy okazywało się, że badania naukowe były błędne i jednak jest zupełnie inaczej? Jestem dosyć sceptyczna co do podejścia stricte szkiełko i oko, wole oceniać spójność teorii ze mną na poziomie intuicyjnym i sprawdzać w praktyce czy jest to prawda/przynosi efekty czy nie.

    • Inana, cały urok w tym, że to bynajmniej nie jest problem – ten element jest uwzględniony w metodologii naukowej i sprzeczne wyniki są ze sobą łączone, dzięki czemu dochodzimy do trafniejszego zrozumienia sytuacji :) Pisałem o tym tutaj: http://blog.krolartur.com/argument-ty-mi-znajdziesz-badania-na-to-a-ja-ci-znajde-badania-mowiace-co-innego/

      Odnośnie pokazywania, że badania naukowe były błędne- tak, zdarza się to – to mechanizm samoweryfikacji o którym wspominałem nawet w tym artykule (wtórny peer-review). Tylko gdzie w tym widzisz problem? Nauka jest systemem, który dokonuje samokorekty – inne systemy, w tym intuicja na której chcesz polegać, takiej samokorekty nie dokonują. Dlaczego więc czynisz z przewagi nauki zarzut wobec niej?

      Odnośnie intuicji w końcu – „spójność na poziomie intuicyjnym” oznacza tak naprawdę „pasuje to do moich wcześniejszych, w dużej mierze przypadkowych, uprzedzeń poznawczych i emocjonalnych”. Innymi słowy „czuję, że tak jest, bo kiedyś przypadkiem zdarzyło mi się coś, co sprawia, że tak dziś czuję”. Nie sądzisz, że to dość mało wiarygodny system podejmowania decyzji? :)

      • Inanna

        Myślę, że jednak intuicja to dużo więcej. Nie jest do końca poznana i nie można mówić jest tym i tym. A co powiesz na sytuację, gdy intuicja mówi nam, żeby gdzieś nie pójść i okazuje się, że ominęła nas jakaś tragedia? Masz bardzo pragmatyczne podejście do życia, co ciężko uznać za coś złego, jednak nie każdemu będzie odpowiadać Twój sposób postrzegania świata. Rozwijając się od kilku ładnych lat w kierunku właśnie duchowym widzę, że intuicja jest niesamowitą zdolnością, a rozwinięta potrafi naprawdę zaskakiwać.

        • 1) jest poznana. Sugeruje zapoznać sie z badaniami w temacie :)
          2) dlaczego zakladasz w ogole, ze taka sytuacja wymaga jakiegokolwiek specjalnego wyjaśnienia? Na świecie jest siedem miliardów ludzi. Niech każda z tych osób będzie miała jedno złe przeczucie na miesiąc (w praktyce przeczuć tych będzie dużo wiecej, ale przyjmijmy warunki minimum). Nie w wyniku „intuicji”, a np. nieuswiadominego” wkurzenia np. na szefa, interpretowanego jako „złe przeczucie”. To daje nam siedem miliardów szans miesięcznie na to, ze ktoś będzie miał złe przeczucie, które akurat sie sprawdzi. Innymi słowy, jest pewne ze cześć takich przypadkowych przeczuć sie spełni. Co wiecej, efekt ten będzie wzmocniony przez wybiorczosc ludzkiej pamięci, mamy naturalnie większa skłonność do zauważenia i zapamiętania sytuacji gdy mieliśmy przeczucie i sie „spełniło”, niż gdy je mieliśmy i sie „nie spełniło”.

          Tu pojawia sie właśnie wspomniana podstawa nauki, czyli próba dojścia do tego, czy mamy realne zjawisko, czy po prostu przypadkowy zbieg okoliczności.

          A co do rozwoju duchowego, jak sprawdzasz, czy aby nie wpadłeś w jedna z niezliczonych pułapek i samooszukiwania, jakie na tej ścieżce czekają? Skąd wiesz, jak wiedzieć? :)

          • Inanna

            Chciałbyś mieć na wszystko racjonalną odpowiedź, nie zawsze się da. Jeżeli te badania nad intuicją dowiodły wniosków, które przedstawiasz, to muszą być przeprowadzone jeszcze raz. ;) Patrząc się na ilość razy kiedy ja się posługuję intuicją, już jest to poza możliwością przypadku. Jest ogromna społeczność ludzi na świecie, którzy mają podobne przeżycia:, społeczności Lightworkersów itd. skąd wiem? Właśnie intuicja jest od tego. Rzeczy, które można przeżyć na tej właśnie ścieżce są momentami tak niesamowite, że zaczynamy nie tyle wierzyć co wiedzieć, że istnieje świat duchowy.Polecam spróbować samemu zamiast opierać się na badaniach. ;) Przedstawiamy tak różne postawy, że do porozumienia nie dojdziemy, nie szkodzi, takie zderzenia światopoglądów pomagają spojrzeć na świat z zupełnie innej perspektywy. Dzięki Tobie dodam więcej logiki do przemyśleń. Pozdrawiam.

          • Inanna, cały urok w tym, ze próbowałem. Ośmielę sie wręcz obstawiać, ze siedziałem w temacie nieporównywalnie głębiej i intensywniej od Ciebie, biorąc pod uwagę, ze powolujesz sie na dość lekkie i plytkie fantazje pt. lightworkerzy, a nie np. Chaoci, o złotym brzasku i podobnych nie wspominajac :) pisałem o tej drodze ( i o tym, z jak najbadziej przypadek + deczko samooszukiwania w pełni starcza za wyjaśnienie ) np. tutaj http://blog.krolartur.com/co-sie-zmienilo-czyli-od-ezoteryka-do-sceptyka/

          • Swoją droga, rozwój duchowy itp… Przyjrzyj sie działaniu pychy w stwierdzeniu „skoro badania pokazują inaczej niż moje doświadczenie, to z badaniami musi byc cos nie tak… Bo przecież nie ze mną…” ktore powyżej implicite podałas…

          • Inanna

            Używasz słowa pycha w stosunku do mnie, a twierdzisz, że siedziałeś w tym dużo głębiej. ;) Widzisz ja dopasowuje rozmowy o duchowości do uszu słuchacza, nie chodzę i nie mówię każdemu o channelingach, demonach, kulcie bogini, teoriach spiskowych, innych wymiarach, bo nie każdy chce tego słuchać;) nie mówiąc już o zdolnościach takich jak widzenie aur, patrzenie w przeszłość i przyszłość, bo tutaj nie tylko nie każdy chce słyszeć, ale wręcz może uznać, że rozmawia z kimś obłąkanym.;) Z chęcią przeczytam post o Twojej drodze duchowej. Siedzę w tym bardzo głęboko, ostatnimi czasy staram się mniej, gdyż jest to fascynujące, ale latasz w chmurach kiedy życie ucieka, a zeszło się na ziemię, żęby żyć. :)

          • Inanna

            W ogóle zaszufladkowałam Cię, wybacz, rzeczywiście po Twoim zdjęciu widać, że bawiłeś się magią, mocno… aż sobie przeczytam, bo ciekawi mnie czemu zmieniłeś się tak bardzo.

          • Inanna

            Nigdy nie chce mi się czytać długich komentarzy, więc się streszczę ;) przeczytałam i bynajmniej nasze podejścia się wiele nie różnią, dostrzegam wszystko co napisałeś; próby bycia bogatym dzięki rytuałom, szycie laleczek voodoo i zakopywanie świeczek w ogrodzie- przerabiałam ;) Przejechałam się na wszechobecnych znakach, wiem ile rzeczy nie działa, chęć ludzi życia tylko miłością mnie dobija, wiem jak łatwo można pomylić czy rozmawiasz z KIMŚ czy z samym sobą, doszukiwanie się potwierdzeń moich opinii- done, Mogę tak wymieniać i ku mojemu zaskoczeniu nie będę z niczym co tam napisałeś dyskutować, bo się zgadzam, ale istnieje też druga strona i ja wiedząc to wszystko zostaje „ezoterykiem” ;)

          • Propozycja – zapoznaj sie z lista błędów poznawczych (niezłe opisane sa nawet na Wikipedii, lepiej angielskiej, ale i Polska niezła) i wtedy wróćmy do tematu :)

          • Inanna

            znam błędy poznawcze, uczyłam się tego na studiach(Psychologia). ;) Ja proponuje rozejść się w swoją stronę, na tą chwilę przynajmniej, internetowe dyskusje nie są moją pasją ;) chociaż przyznam, że miło mi się dyskutowało. Pozdrawiam :)

          • Też mi się wydawało, że znałem, też po tych samych studiach. Tylko na studiach uczysz się o kilku, może kilkunastu. Przy grubo ponad setce, optyka nieco się zmienia ;)

          • Cudowna reinterpretacja po fakcie, gdy już dostałaś now informacje… Jak to sie stało, z nie było tego „widać” wcześniej? ;) a co do channelingu i demonów, nie zapominaj o otakukinach ;)

  • Ewa

    Mam pytanie a jakie czynniki wpływają na wybór metody naukowej?

    • Nie rozumiem pytania. Metoda naukowa jest, na tym etapie, po prostu najskuteczniejszą metodą docierania do tego jak działa świat, dlatego jest wybierana.