Jak sprawdzić, czy dane treści są wartościowe?

Co jakiś czas dostaje od Was pytania o to, w jaki sposób weryfikuje różne treści, decyduje czy warto im się przyjrzeć, czy można je z góry przekreślić jako ściemę. Pomyślałem więc, że warto przygotować wpis w którym podzielę się niektórymi ze swoich strategii. Tylko niektórymi nie dlatego, że szczególnie chce jakieś zachować dla siebie. Z przyjemnością podzieliłbym się wszystkimi. Po prostu niektóre są nieco łatwiejsze do wyjaśnienia, a inne wymagałyby dość długich wstępnych wyjaśnień.

Kiedy sprawdzać nie musze?

Oczywiście, są rzeczy, których nie sprawdzam, tylko biorę bez mrugnięcia okiem. Mam kilkoro zaufanych „dilerów”, ludzi którzy jeśli wspominają, że coś warto sprawdzić, to wiem, że niemal na pewno się nie rozczaruję. Tacy „dilerzy” są też swoją drogą dobrym źródłem częściowej weryfikacji, w stylu „Ej, trafiłem na coś takiego, kojarzysz? Szajs, czy warto?”

Mam też sprawdzonych autorów, co do których po prostu co jakiś czas sprawdzam „ej, czy ta osoba napisała coś nowego” i jeśli coś znajduję, natychmiast staram się to zdobyć. (Oczywiście w jednym i drugim wypadku podlega to okresowej rewizji. O ile rzadko kiedy zdarzało mi się, by ktoś wypadł z listy „dilerów”, o tyle niestety częściej zdarza się cenionym autorom pójść w dziwnych kierunkach, typowo po dwóch takich rozczarowaniach zaczynam ostrożniej podchodzić do ich nowości.)

Książki

Ponieważ większość książek, które w ogóle sprawdzam jest po angielsku, moim pierwszym krokiem jest zwykle wejście na amazon.com i amazon.uk i sprawdzenie najniższych ocen – 1 i 2. Interesuje mnie nie ilość, a treść opinii. Bardzo często 1-ki i 2-ki są bowiem typowo emocjonalne, w stylu „to co pisze w tej książce jest sprzeczne z moją ulubioną świętą księgą/tym co mi się potocznie wydaje na ten temat”. Tym, czego ja szukam są jednak pogłębione, krytyczne opinie. Tam można czasem znaleźć faktycznie uzasadnioną krytykę, która pozwala albo odsiać z góry daną książkę, albo przynajmniej podejść do niej ostrożnie. Pozytywne oceny mnie generalnie nie interesują. Nawet jeśli były uczciwie umieszczone, nie mam pojęcia jaki był poziom kompetencji oceniających.

W przypadku książek wydanych u nas, przydaje mi się prenumerata Legimi. Nawet nie zdajecie sobie sprawy jak wiele różnego rodzaju poradników rozwojowych oraz biznesowym przeglądam i z obrzydzeniem porzucam każdego roku. Padają one zwykle dużo zbyt szybko by trafić do kategorii „porzucone” czy „przeleciane” w moim zestawieniu skończonych książek. Możecie założyć, że na każdy poradnik czy książkę rozwojową, które tam znajdziecie, 10-15 innych poszło do kosza bez żadnej wzmianki. Może jak będę miał więcej czasu i zasobów zacznę na instagramie wrzucać mikro-recenzje takich fail’ów.

O ile w niektórych książkach jestem skłonny wybaczyć brak bibliografii, o tyle im bardziej nowatorskie, obrazoburcze czy zdecydowane tezy widzę w danej publikacji, tym silniejszą mam potrzebę zawołać „a cytacik gdzie?” I jeśli stosownego cytowania literatury naukowej nie ma, to jest źle, a jeśli cytuje, ale błędnie i to kilka razy, to jeśli w ogóle będę kontynuować lekturę, to w totalnym trybie paranoi. (Albo jakbym czytał mediaworkerów.) Innymi słowy, nie wierzę w żadne słowo wprost, traktuje jako odskocznię do realnych badań.

Koncepcje

Często bywam pytany o opinię na temat różnych metod czy koncepcji. To nie jest takie proste, bo w psychologii i rozwoju mamy duży bałagan z nazewnictwem. Dwie różne metody mogą mieć tą samą nazwę, lub na odwrót, dwie różne nazwy mogą mówić o jednej metodzie. Poniższe rozwiązanie stosuję więc zarówno w wypadku niektórych książek (np. gdy mają dotyczyć takiej nieznanej mi metody), jak i w przypadku szerszych haseł, metod, itp. Zaczynam od wyszukania danego hasła z dodatkiem takich terminów jak „debunk” (obalenie), „scam” (oszustwo), „criticism” (krytyka), „scepticism” (sceptycyzm), „systemic review” i „meta analysis” (te dwa ostatnie terminy odnoszą się do konkretnych procesów zestawień badań naukowych w zakresie danej dziedziny. W wypadku nazwisk (np. autora czy twórcy metody) dodaję też hasła typu „quack” (szur). Sprawdzam też co wychodzi na 2-3 stronie googla. Szury i oszuści już się wycwanili i sami pod siebie pozycjonują strony typu „Czy Kłamca Nieuczciwy jest oszustem? Nie, oczywiście że nie!” zapychając tym początek googla.

Korzystam również z wiki. Rzadko jako źródła głównego (o ile w tematach neutralnych wiki jest spoko, o tyle w tematach silniej nacechowanych emocjonalnie potrafi być istnym polem bitwy), natomiast jako ze źródła wskazującego na dalsze źródła, które warto sprawdzić. Podobnie traktuje też doniesienia prasowe na temat badań, itp. Nie wierzę mediaworkerom, bo ani nie mają często kompetencji, ani praktycznie nigdy odpowiedniej motywacji, by pisać jakościowe artykuły o nauce. Ich artykuły mogą być jednak dobrym punktem wyjściowym do poszukania czegoś.

Przy sprawdzaniu metody czy tematu robię często deep dive, sięgam po kilka/naście/dziesiąt źródeł, przeglądam je szybko i selekcjonuje na tej bazie.

Osoby

W przypadku konkretnych autorów, w pierwszej kolejności sprawdzam ich kompetencje. Czy książkę pisze dziennikarz, czy naukowiec w danej dziedzinie? (W tym pierwszym przypadku dużo częściej będzie problematyczna.) Jeśli ma jakiś tytuł na który się powołuję, to czy jestem w stanie sprawdzić skąd ten tytuł jest, czy jest legitny, czy też kupiony w tzw. diploma mill, czyli oszukańczej pseudouczelni? Jakie w ogóle jest wykształcenie tej osoby? Czy rewelacje o medycynie przedstawi mi historyk sztuki? (Dla jasności, nie neguję możliwej ekspertyzy osoby bez formalnego wykształcenia w danej dziedzinie. Mamy tu system poszlakowy, im więcej poszlak spełnionych, tym większe prawdopodobieństwo że dana osoba wciska szajs.)

Przyznam, mam tu też wyraźny bias – absolutnie nie ufam autorom z Rosji, mam też dużą ostrożność wobec autorów z Chin, także w wypadku publikacji naukowych. Jest tak dlatego, że obydwa te kraje mają długą i barwną historię tzw. research misconduct, problematycznych zachowań w kontekście prowadzenia i publikacji badań, co czyni ich pomysły czy rewelacje mało wartościowymi.

Zbierzmy to razem

Te wszystkie elementy się sumują. Czasami przekraczają punkt krytyczny jeszcze przed lekturą danego źródła. Czasem w trakcie, w porównaniu z problematycznymi treściami (do których mógłbym mieć hojniejszą interpretację, gdyby nie wcześniejsze wątpliwości). Przez lata wyrobiłem sobie dość ostre kryteria rezygnacji z danego materiału. Jasne, ze wszystkiego można się czegoś nauczyć… Ale mamy w życiu ograniczony czas. Marnowanie go na próby wyciśnięcia wody z kamienia to jednak głupota.

Co ciekawe, przy zachowaniu tych zastrzeżeń, mam wręcz ADHDowo otwarty umysł, w tym znaczeniu, że jestem gotowy rzucić się za przypadkową wzmianką o jakimś źródle w innej książce, artykule czy przypadkowej dyskusji internetowej. A nuż będzie to coś ciekawego? Jasne, wiele szybko odpada, ale tak trafiłem choćby na cały teatr improwizacyjny, czy ostatnio na przeciekawe „Between Us” Banji Mesquity. Nie miałbym jednak czasu na takie odkrycia, gdybym próbował wyciągać „co się da” z każdej miałkiej, powtarzalnej książki, z jaką się spotykam. Dlatego stosuję ostrą selekcję i zachęcam do niej również Was.