Fake-Guru Andrew Huberman

Pierwotnie post ten miał się nazywać „Problem z Andrew Hubermanem…”, jednak im więcej researchu robiłem w temacie, tym jaśniejsze stawało się dla mnie, że jest to niestety jedna z tych postaci, dla których warto przywrócić stary cykl Fake Guru. (Tym bardziej, że i kilku Anty-Guru się przez lata zebrało i przyda się po wpisie dla nich.)

Wpis ten warto czytać z komplementarnym wpisem „Huberman o ADHD – krytyka błędów, bzdur i przeinaczeń„.

 

 

To co dobre…

Dr Andrew Huberman jest neurobiologiem specjalizującym się w tematach okulistyki i neurologii wzroku. Jest też (co nie jest standardem dla bohaterów tych cyklów) człowiekiem z autentycznie zasłużonym doktoratem, przez lata powiązanym z całkiem ciekawymi tematami badawczymi w prestiżowych laboratoriach m.in. na Uniwersytecie Kalifornijskim, czy też obecnie na Stanfordzkim Uniwersytecie Medycznym, gdzie prowadzi własną pracownię. (Jest więc przełożonym niewielkiej grupki naukowców prowadzących w skoordynowany sposób badania w pewnym, zwykle wąskim obszarze badawczym.) W ramach swojej kariery zajmował się między innymi powiązaniami między genetyką i wzrokiem czy lękiem. Według rankingu research.com jego pozycja naukowa nie jest jakaś powalająca (w obszarze neurologii ok. 3700 miejsce na świecie i 1600 w USA), tym niemniej w tym zakresie niewątpliwie jest po prostu normalnym naukowcem.

 

I to co spaprane…

Jak dotąd wszystko brzmi dobrze, prawda? Cóż, nie mam absolutnie żadnych zastrzeżeń do pracy naukowej Hubermana i nie spotkałem się w ramach weryfikacji źródeł z tego typu krytyką. Pod tym względem Huberman jest jak najbardziej ok.

Problem dotyczy jego podcastu/kanału youtube i treści, które tam umieszcza – Huberman Lab Podcast. Wystartował on w styczniu 2021 i dość szybko rozrósł się do naprawdę sporych zasięgów, obecnie subskrybuje go ponad 1.5 miliona osób. Co ciekawe już pierwsze odcinki miały przestrzeń dla sponsorów, co samo w sobie jest mocno nietypowe (wrócimy do tego jeszcze później). Kanał jest szczególnie popularny w środowiskach zainteresowanych szeroko rozumianą optymalizacją swojej wydajności, tzw. „biohackingiem” i podobnymi ideami, ale spotykam się z nim w bardzo różnych miejscach. (Bezpośrednim impulsem do poruszenia tematu Hubermana było pojawienie się tych materiałów w jednej z grup o ADHD do których należę.)

Na pierwszy rzut oka kanał typu Huberman Lab powinien mnie cieszyć. W końcu mamy kanał oparty na wiedzy naukowej, osadzony w neurologii. No po prostu cudownie, moja działka, nie niech robi jak najlepszą robotę, bo ważne by tą robotę robić… Fachowców w przestrzeni publicznej nigdy za dużo!

Eh, no właśnie. Tylko z jakością tej roboty są problemy. I to duże. (Oddzielnym problemem jest tu polecanie różnych suplementów, których realna wartość jest zwykle delikatnie mówiąc niepotwierdzona. To jednak zgniła wisienka na torcie z błota.)

 

Pierwszy raz zetknąłem się z Hubermanem z polecenia znajomego mającego sporą zajawkę na optymalizację i zwiększanie efektywności. Na pierwszy rzut ucha brzmiało ciekawie, niestety im bardziej zacząłem się wgryzać w materiały, tym bardziej coś mi zgrzytało. Po prostu skala deklarowanych efektów była totalnie niewspółmierna do źródeł, na które Huberman się powoływał. Z jednej strony przełomowe wręcz efekty zdrowotne (w tamtym przypadku zdaje się jakiegoś wariantu sauny), z drugiej… Jedno badanie, na niezbyt dużej grupie, zrobione 30 lat temu i od tego czasu nikt nie wydawał się takiego efektu powtórzyć. Wyglądało to bardzo mocno na klasyczny przykład fałszywego pozytywu (pozornego efektu, który w rzeczywistości nie występuje). Takie fałszywe pozytywy w nauce zdarzają się regularnie, są wpisane w samą metodę. Dlatego mamy między innymi replikacje, powtarzanie badań przez inne zespoły by sprawdzić, czy wynik poprzednich nie był przypadkowy. Jeśli przez 30 lat takiej replikacji nie było, choć sama interwencja wydawała się bardzo obiecująca… Cóż, w nauce wykazanie interesującego efektu jest na wagę złota i może łatwo zbudować karierę, trudno więc uwierzyć, że przez 30 lat nikt tematu nie tknął. Bezpieczne jest więc założenie, że ewentualne próby replikacji się nie powiodły i (niestety) trafiły do szuflady. (Nieudane replikacje eksperymentów dużo rzadziej zgłaszane są do druku.) Huberman jako doświadczony naukowiec powinien o tym wszystkim wiedzieć i nie powoływać się na tego typu źródła.

 

Co gorsza, nie był to pojedynczy wypadek przy pracy. Ponieważ jego materiały przewijały się w moim otoczeniu co jakiś czas, podchodziłem do nich wielokrotnie i za każdym razem odkrywałem dokładnie to samo. Nieuprawnione uogólnienie słabych jakościowo badań w deklarowane potężne efekty. Nieuprawnione przenoszenie badań na zwierzętach na wnioski dla ludzi. Brak cytowania konkretnych źródeł, nawet na dość ekstremalne tezy. Przedstawianie zupełnie innych wyników, niż to co faktycznie opisano w badaniu. Raz za razem okazywało się, że w pysznej bombonierce naukowej wiedzy ktoś podmienił większość czekoladek na kozie bobki. Niewątpliwie piękne wyrzeźbione i podane, w końcu coś musi ludzi skłonić do ich pochłonięcia. Tylko jakiś taki potworny niesmak zostaje.

 

Ponieważ było tego coraz więcej – co by o nim nie powiedzieć, Huberman jest bardzo płodnym autorem – postanowiłem w końcu odnieść się do tematu u siebie i zademonstrować problemy z tymi materiałami. Na tym etapie miałem pewien problem, gdyż wystąpienia Hubermana są dość długie, zwykle ponad dwugodzinne. Jasne, mogłem przejść przez takie wystąpienie punkt po punkcie. Tylko powstałaby z tego cegła, od której odbiłoby się wiele osób. Poza tym lojalni fani Hubermana mogliby zawsze argumentować, że w tym jednym temacie może się nie zna, ale w innych to jest ekspertem. Mogłem też wybrać kilka przykładów demonstrujących błędy i nadużycia Hubermana w różnych nagraniach. To byłoby dużo krótsze, obejmowałoby też więcej treści, ale tu znów łatwo o oskarżenia typu „ej, no ale wybierasz jakieś pojedyncze rzeczy, wiadomo, że w dwóch godzinach znajdą się drobiazgi, ale wcale nie ma ich tyle ile twierdzisz”! Okazało się więc, że muszę zdecydować się na obydwie opcje na raz. Stąd chyba po raz pierwszy na blogu jednocześnie publikuje dwa wpisy. Ten, który czytasz teraz, oraz szczegółową dekonstrukcje większości jego materiału o ADHD. (Czemu większości? Bo po 10 stronach krytyki uznałem, że naprawdę wystarczy.) Zachęcam do zapoznania się z dłuższym tekstem, tu zaś odniosę się do kilku przykładów z innych materiałów.

 

Tu natomiast zerknijmy na kilka innych przykładów jego błędów i nieuzasadnionych twierdzeń. Dla przykładu w materiale na temat depresji twierdzi „wydziela się dopamina w naszym mózgu, co sprawia, że czujemy się zmotywowani i ogólnie czujemy się dobrze.” To klasyczny już mit, osadzony jeszcze w latach 60-tych, który dawno obalono. Dopamina nie sprawia, że czujemy się dobrze. Uruchamia pogoń za obietnicą nagrody, ale nijak nie jest powiązana z uczuciem otrzymania nagrody czy przyjemnością z tym związaną. (Dla zainteresowanych, różnice dobrze podsumowuje ten wywiad.) I może się to wydawać drobiazgiem, ale chwilę później Huberman ma cały wykład jak to ta przyjemność jest następnie równoważona bólem (tzw. hipoteza procesów przeciwstawnych), co z kolei… Cóż, cały problem w tym, że pierwotna przyjemność nie występuje, więc cała reszta wyjaśnienia rozpada się jak domek z kart. (I powinna się rozpadać, ponieważ cała  hipoteza procesów przeciwwstawnych w kontekście dążenia do przyjemności jest mocno problematyczna w świetle współczesnej wiedzy. Podkreślam to, gdyż hipoteza ta uporczywie powraca w wielu odcinkach podcastu, choć delikatnie mówiąc daleko jej do głównej obowiązującej teorii.)

Im dalej w las w tym epizodzie tym dziwniej zresztą – dla przykładu dowiadujemy się, że termin „poważna depresja” jest używany by „odróżnić od drugiego typu, czyli depresji dwubiegunowej”. To teza, która sugeruje, że Huberman nie miał w ręku żadnego podręcznika diagnostycznego, gdyż  np. w takim DSM-V (obowiązuje w USA) podział jest po prostu między „Zaburzeniami depresyjnymi” i „Zaburzeniami dwubiegunowymi”, a termin „poważny” pojawia się przy niektórych PODTYPACH zaburzeń depresyjnych. Znów, dla laika nieistotne rozróżnienie, dla kogoś choć trochę ogarniającego temat silny sygnał pt. „ten człowiek niespecjalnie wie o czym mówi, ale z jakiegoś tajemniczego powodu i tak mówi…”

 

Kolejny przykład, gdy mówi o efekcie Stroopa demonstruje, że zupełnie go nie rozumie, a jednocześnie buduje rozbudowane wnioski w oparciu o to niezrozumienie omawianego procesu.

Efekt Stroopa w psychologii polega na interferencji dwóch sprzecznych sygnałów. Mamy szereg nazw kolorów napisanych innymi kolorami, a naszym zadaniem jest nazwanie kolorów czcionki. Np. ZIELONY RÓŻOWY FIOLETOWY NIEBIESKI SZARY CZERWONY ZIELONY NIEBIESKI . Ze względu na sprzeczność między znaczeniem terminu, a kolorem jego zapisania, następuje tendencja do opóźnienia nazwania koloru czcionki, która nie występuje jeśli nazywamy kolory czcionki neutralnych kolorystycznie słów, np. PIES KOT NAUCZYCIEL PIĘĆ ANNA DRZWI MIECZ NOGA.

Opis Hubermana brzmi zaś „dajesz komuś karty z różnymi słowami w różnych kolorach, każesz osobie przeczytać słowa, ignorując kolory czcionki, więc czytają kot, pies, półka, książka, profesor, uczeń, a potem zmieniasz zasady i każesz im nazwać kolory jakimi słowa są napisane, ignorując czcionkę i ludzie to robią, ale jest czas gdy nieco zwalniają, jest to trudne, bo zmieniłeś zasady”. Następnie próbuje na tej podstawie budować wnioski neurologiczne odnośnie dostosowywania się do zmian zasad w życiu.

Dla laika różnica może nie być zbyt widoczna – no tu mamy słowa i kolory, mamy jakieś opóźnienie, w sumie to samo, o co chodzi? Ale dla osób choć trochę ogarniających temat, to jak różnica miedzy pocięciem składników i przygotowaniem dla kogoś posiłku, a byciem nożownikiem-kanibalem. Tu i tu mamy cięcie i posiłek, ale jednak szczegóły mają znaczenie! A przecież Efekt Stroopa to takie ABC psychologii poznawczej, jeden z najprostszych, najbardziej klasycznych efektów, omawianych w niezliczonych podręcznikach i powiedzmy sobie szczerze, dość prosty do zapamiętania. Skoro więc tutaj pojawiają się tego typu błędy, to… cóż, w moim rankingu sprawia to, że cokolwiek co wychodzi spod jego ręki wymagałoby dodatkowej warstwy weryfikacji. Albo dwóch. Nawet w wersji naukowej. W wersji popularnej zaś…

 

Cóż, w wersji popularnej, Huberman Lab Podcast jest po prostu absolutnie niewiarygodny. Miesza faktyczne dobrze wykazane efekty (mniejszość) z wyolbrzymieniami i nadinterpretacjami badań, które na takie nadinterpretacje nie pozwalają, aż po całkowite wyssane z palca bzdury przedstawiane z patyną naukowości. Gdyby jeszcze wyraźnie zaznaczano co jest czym, nie miałbym tu wielkiego problemu. Huberman mógłby mówić „badania na pewno mówią X, być może Y, ale tu nadinterpretujemy dość mocno badania w taki i taki sposób, więc uważajcie, a moja subiektywna opinia to Z, choć nie mam na to nawet kawałka dowodów, ale po prostu tak uważam, jak to kogoś obchodzi”. To byłoby ok. Niestety nie mówi tak, przedstawia wszystkie trzy kategorie jako osadzone w badaniach, rzadko kiedy cytuje badania, a gdy cytuje to bardzo często nadinterpretuje lub podaje błędnie. To oznacza, że próba wyciągnięcia wartości z jego podcastu to gra w ciuciubabkę na polu minowym przy jednoczesnym uciekaniu przed wściekłym ratelem. (Nie, ratel nie przejmuje się minami. To ratel, „honeybadger don’t care!„) Jasne, jest szansa, że wyjdzie z tego coś dobrego, ale jednak bardziej prawdopodobne jest, że wdepniesz na minę… albo będziesz mieć wyjątkowego pecha i ratel Cię dogoni.

Dla jasności, te błędy nie mówią nam nic o Hubermanie jako o naukowcu zajmującym się neurologią wzroku. Wiemy po prostu, że gdy próbuje mówić o czymkolwiek poza tą swoją wąską specjalizacją, to robi się to drastycznie niewiarygodne. Aczkolwiek, patrząc na niektóre treści, które wrzuca na kanale… Cóż, nie zdziwiłbym się, gdyby dokładna analiza jego treści zawodowych pokazała również tonę dziur, przynajmniej tam gdzie wychodzi poza obszar jego specjalizacji. Wyraźne to widać np.  w tendencji Hubermana do polecania książek na krawędzi paranauki i pseudonauki, np. mocno kontrowersyjnego „Breathe” Jamesa Nestora. (Zresztą wiele osób na których Huberman bazuje swoje materiały, np. Lembke z jej „Dopamine Nation” są podobnie problematyczne. Ewidentnie nie ma tu żadnej weryfikacji jakości, a głównym kryterium w wielu przypadkach wydaje się być „to mój ziom/moja ziomalka ze Stanforda”.)

 

Czemu tak jest?

Jak to się dzieje, że naukowiec z całkiem solidnymi osiągnięciami zaczyna szerzyć popnaukowe bzdury? Cóż, myślę, że może grać tu rolę kilka czynników. Huberman jest prawdopodobnie przykładem zjawiska tzw. Audience Capture. Presja na regularne umieszczanie materiałów na YT czy w podcastach dla zadowolenia publiczności jest spora, warto by te materiały były nowe, angażujące, dawały dodatkową wartość. I to wartość taką, jakiej publika by naprawdę chciała – super-hipertipy na optymizację. Proste, zrozumiałe, szybkie, niesamowicie skuteczne, no i oczywiście zweryfikowane naukowo*. A i niech ich będzie dużo!

Tia, wybierz dwa z powyższej listy. Trzy jak dobrze pójdzie, w niektórych poddziedzinach. Ale cała szóstka? To się praktycznie nie zdarza, albo zdarza w pojedynczych przypadkach. Sam to doskonale znam, bo widzę jaki mam przeskok w materiałach w tym zakresie, gdy dbam o dostarczanie rzeczy osadzonych w badaniach. Ta pula „skutecznych, prostych, zrozumiałych, szybkich i zweryfikowanych naukowo*” jest bardzo, bardzo skromna i dość szybko zaczyna się skrobać po dnie beczki, a potem próbuje wdychać powietrze wokół beczki, licząc, że uda się odessać nieco odrobinę „daniny dla aniołów„. I potem ma się trzy duże opcje…

*Tak, „skuteczne” i „zweryfikowane naukowo” technicznie rzecz biorąc powinno być jednym kryterium. Powiedzmy, że przez skuteczne mam tu na myśli „dające użytkownikowi poczucie „wow! to zadziałało!”, a zweryfikowane naukowo to rzeczy, które faktycznie działają, czy użytkownik to czuje czy nie.

 

Opcja pierwsza, to dużo głębsze badania i generowanie nowych materiałów dużo rzadziej, ale dzięki temu naprawdę wartościowych. Tylko to oznacza nowy podcast raz na miesiąc, może raz na kwartał. Wybitny… Ale raczej niewystarczający dla zaistnienia w branży. (Albo wymagający dłuuuuuugiego przygotowania i przygotowania sporego zapasu treści do wykorzystania.)

Opcja druga to rezygnacja z części kryteriów związanych z komfortem użytkowników. Rzeczy trudniejsze do zrozumienia, do wdrożenia, mniej popisowe. „Dobra, w pierwszych podcastach macie podstawy, a tu macie rzeczy zaawansowane. Ale one wymagają faktycznego wysiłku, to nie będą rzeczy typu 1-2-3 i gotowe!” Tylko to spotka się z buntem dużej części odbiorców, którzy zostali zwabieni obietnicą prostych i łatwych rzeczy, chcą więc więcej tego samego!

Opcja trzecia to posłanie standardów naukowych do piachu, zasypanie ich, po czym zalanie całego terenu betonem i postawienie tam centrum handlowego. Oczywiście rzadko kiedy dzieje się to za jednym krokiem. Zwykle polega na tym, że im dalej oddalamy się od sedna naszej wiedzy, tym chętniej idziemy na kompromisy. Najpierw małe („No może to badanie nie jest aż tak dobre jakbym chciał, ale nie jest też tragiczne”), potem większe („No dobra, to działa u myszy, nie wiemy jak u ludzi, ale jakieś 3/4 efektów w tym obszarze powiela się też u ludzi”), aż w końcu jedziemy po bandzie („To badanie nie ma związku z tym o czym mówię, ale serio, kto by je czytał? Zresztą i tak mam rację!”)

 

Jest bardzo prawdopodobne, że Huberman stanął przed tym wyborem i wybrał trzecią opcję. Co gorsza, ponieważ tu trochę nie jak zawrócić (lub przynajmniej wiązałoby się to ze zbyt dużymi kosztami), można oczekiwać stopniowego pogłębiania się problemu, coraz mniej i mniej wiarygodnych materiałów w celu utrzymania oczekiwań publiczności. (Jest to, swoją drogą, bardzo, bardzo klasyczny wzorzec w całym środowisku specjalistów od optymalizacji.)

 

Choć… Być może to i tak zbyt optymistyczna interpretacja. Na koniec chcę poruszyć rzecz, która wyszła w trakcie zbierania danych do tego materiału, a która nie daje mi spokoju. Bo dane wydają się układać w pewien rozpoznawalny wzorzec.

1. Huberman Lab Podcast wystartował w styczniu 2021, w ciągu niecałych dwóch lat dobił do społeczności liczącej ponad 1.5 miliona osób, co jest bardzo szybkim wzrostem. (Choć jednocześnie przeciętne wideo zaczyna ok. 150-190 tysięcy widzów, co daje dość niski poziom zaangażowania, dla przykładu kanał Tasting History przy nawet nieco mniejszej liczbie subskrybentów ma typowo 300-400 tysięcy wyświetleń, nasz Wolski o Wojnie przy 250 tys. subskrybentów potrafi mieć porównywalne lub lepsze zasięgi, 170-200 tys! )
2. W momencie uruchamiania podcastu Huberman nie miał na tyle na ile mogę ocenić żadnej realnej obecności medialnej. Nie zdołałem znaleźć żadnych wcześniejszych wywiadów, popularnej aktywności, absolutnie niczego, co dawałoby mu jakikolwiek tzw. „clout”, wpływowość i zasięgi w internecie czy u szerokiej publiczności. Jasne, był szefem labu na Stanford Medical University, ale w dość niszowej specjalizacji, nie miał też jakiejś powalającej kariery naukowej. Ot, jeden z dosłownie tysięcy neurologów.
3. Jednocześnie jednak już pierwsze podcasty startują z konkretnymi sponsorami – i nie są to typowe „masówkowe” firmy faktycznie sponsorujące w internecie wszystko co się rusza, mówi po angielsku i do labu nie ucieka, jak Wondrium/Great Courses+, tylko bardzo konkretne i dość silne marki. Co jest, cóż, dziwne. Nawet bardzo, bardzo dziwne. Bo to mniej więcej tak, jakby bliżej nikomu nieznany, przeciętny doktor ekonomii z SGH startował sobie z podcastem/kanałem na Youtube i od pierwszego odcinka miał wykupiony sponsoring dwóch średnio znanych marek. Jaki menadżer korporacji by coś takiego klepnął w budżecie? (Ok, by być fair, tu jest jeden potencjalny kontargument. Podcast startował w styczniu. Nie na takie rzeczy się przepala w korpo budżety w grudniu.)
4. W odróżnieniu od praktycznie każdego internetowego projektu jaki widziałem, tutaj od samego początku wszystko jest w finalnej postaci. Grafiki, muzyka, intro, ustawienie podcastu… Normalnie to dość naturalnie ewoluuje, prowadzący odkrywa i eksperymentuje z różnymi rzeczami, zwłaszcza, jeśli nie ma wcześniejszego doświadczenia w tym zakresie, fani proponują różne rozwiązania, itp. Jeśli śledziliście rozwój jakiegokolwiek kanału przez dłuższy czas, na pewno byliście tego świadkami. Tu tego nie ma. Patrząc na nagranie ze stycznia 2021 i z marca 2022 nie bylibyście w stanie powiedzieć które jest z kiedy. Co jest, znów, dziwne, mocno odstające od wzorca.
5. W końcu podcast Hubermana jest bardzo, bardzo łakomym kąskiem marketingowym. Duże zasięgi wśród bardzo konkretnej grupy – osób skupionych na optymalizacji swojej wydajności, często niezależnych specjalistów (bardzo często widzę go np. u programistów), a więc mających dużo wolnej gotówki… To marzenie marketingowca, idealny klient dla ogromnego zakresu ciekawych towarów i usług.

W świetle powyższych czynników uznaje za relatywnie prawdopodobną hipotezę, że Huberman’s Lab Podcast jest projektem marketingowym (a przynajmniej tak startował), stworzonym od podstaw przez agencję medialną jako platforma do sprzedaży dla konkretnego sektora klientów. Hipoteza ta wyjaśnia wszystkie powyższe nieścisłości, od szybko rosnącej, ale nieaktywnej grupy widzów, przez wstępnych sponsorów czy dopięty od początku wizerunek. Wyjaśnia też problemy merytoryczne – przy produkowaniu na akord w ten sposób trzeba iść na ustępstwa.

Jeśli hipoteza byłaby prawdziwa, a Ty odkrywasz, że dałeś/aś się nabrać, nie przejmuj się. To koniec końców profesjonalny projekt.

Oczywiście, możliwe, że to tylko moje próbowanie znalezienia wzorca w szumie danych. Każdy z powyższych punktów da się wyjaśnić na inne sposoby, po prostu razem tworzą one dużo bardziej skomplikowaną, a tym samym mniej prawdopodobną układankę. No i niezależnie od przyczyn tego stanu rzeczy, finalny przekaz jest ten sam: Huberman’s Lab Podcast ma bardzo niską wiarygodność i czerpiesz z tych treści na własne ryzyko.

 

---

---