O co chodzi z tym całym AI cz. 2, czyli jak korzystanie z narzędzi AI wpływa na nasz mózg?

LLMy, potocznie określone mianem AI pozostają popularnym narzędziem. (Choć ostatnie próby wyceniania korzystania z nich tak, by jakkolwiek się zwracało dostawcom napotkały na duże zderzenie z opinią użytkowników. Cóż, halucynacje AI są mniejszym problemem, jeśli można za darmo puścić 10x to samo zapytanie, robią się większym, gdy za pojedynczą pełną halucynacji treści przychodzi spory rachunek. I mówimy tu o rachunku tylko za korzystanie z tego narzędzia, koszty halucynacji dla efektywności biznesu to oddzielna zabawa.) Jak w wypadku wielu popularnych narzędzi pojawia się więc pytanie, o jego wpływ na użytkowników. Czy korzystanie z AI, zwłaszcza intensywne, może być problemem?

Takie obawy nie są niczym nowym. Większość technologii budziła podobne w momencie wprowadzania czy popularyzacji. Platon przypisywał Sokratesowi niechęć do popularyzacji pisma, jako czegoś, co ma zniszczyć ludzką pamięć. W XIX wieku liczni autorzy głosili, że popularność gazet sprawia, że ludzie przestają ze sobą rozmawiać i rozpadają się relacje międzyludzkie. W zasadzie zawsze mieliśmy do czynienia z jakąś formą „starca wrzeszczącego na chmury„… Tyle, że z drugiej strony niekiedy te obawy okazywały się być do pewnego stopnia uzasadnione. Dla przykładu wiemy, że nadmierne poleganie na nawigacji GPS prowadzi do pogorszenia pamięci przestrzennej. Częste korzystanie z wyszukiwarek internetowych może prowadzić do pogorszenia pamięci faktograficznej, zwłaszcza w zakresie łatwych do wyszukania treści, to tzw. „efekt Google”. Jak więc jest w wypadku AI?

 

Danych jest mało…

Kluczowa uwaga na start – tak naprawdę niewiele jeszcze wiemy. Badań nie ma dużo, a istniejące są dość wstępne. Wiemy z wielu innych obszarów, jak takie pierwsze doniesienia mogą być wyolbrzymione czy wykrywać pozorne zależności. Jak wyniki mogą się zmieniać wraz z badaniami lepszej jakości. Jednocześnie przynajmniej w niektórych przypadkach potencjalne długoterminowe konsekwencje korzystania z LLMów są na tyle problematyczne, że jednak warto się im lepiej przyjrzeć. Tym bardziej, że o ile bezpośrednich badań jest mało, to ich wyniki wpisują się w dużo lepiej umocowane psychologicznie wzorce. A, wyniki omawiane tutaj dotyczą wpływu na dorosłych, kwestia wpływu na dzieci jest oddzielnym tematem badań, wykraczającym poza mój zakres specjalizacji. Te badania, które przeglądałem w toku przygotowania tego materiału wskazywały na nawet gorsze konsekwencje dla dzieci, natomiast nie jestem w stanie ocenić ich jakości.

Trzymając się tych zastrzeżeń, co możemy wskazać odnośnie poznawczych konsekwencji korzystania z AI u dorosłych?

 

 

Homogenizacja kreatywności

Mamy badania pokazujące, że korzystanie z narzędzi AI podbija wyniki kreatywności mierzone na poziomie grupy, ale redukuje na poziomie indywidualnym. Dzieje się tak, gdyż podbija ono wyniki najmniej kreatywnych osób, ale jednocześnie ogranicza kreatywność najbardziej kreatywnych. W tym zakresie nie powinno nas to nawet dziwić, w końcu sama metoda szkolenia AI sugeruje, że będzie dawało ono raczej pewien wyciąg z najbardziej prawdopodobnych, najczęstszych, a więc i najmniej kreatywnych odpowiedzi. Jednocześnie wiele wskazuje na to, że jest to szersze zjawisko. Korzystanie z AI daje szczególną poprawę wyników osobom mało kompetentnym w danej dziedzinie, kosztem utraty pewnej wartości dodanej, unikatowego spojrzenia wnoszonego przez osoby bardziej kompetentne.

Np. 293 autorów napisało opowiadania, grupa pierwsza wymyślała je sama, grupa 2 mogła skorzystać z jednego pomysłuł-podpowiedzi z LLMu, grupa 3 miała pięć podpowiedzi. 88% badanych z opcją dostępu do LLMu skorzystało z niej choć raz. W grupie 3 przeciętnie korzystano z 2.5 pomysłu. Niezależni sędziowie oceniali pomysły grup korzystających z LLMów jako odrobinę bardziej nowatorskie (o 5.4% i 8.1%, odpowiednio), oraz łatwiejsze do adaptacji do pełnej książki. Efekt był szczególnie istotny przy mniej kompetetnych autorach, mających niższy bazowy poziom kreatywności. Jednocześnie historie wygenerowane przy wsparciu LLMów miały tendencje do bycia dużo bardziej podobnymi do siebie. Były kreatywniejsze, ale w bardziej schematyczny sposób, oddający pewien stereotypowy wzór kreatywności. 

Jednocześnie, jak się niedługo przekonamy, ta poprawa jest okupiona licznymi problemami. Owszem, tu i teraz prowadzi do lepszych wyników, ale długoterminowo pogarsza lub wręcz hamuje zwykle proces uczenia się, tym samym pogarszając długoterminowe wyniki. Co gorsza, osoby najmniej kompetentne są zwykle dokładnie tymi, które mają najmniejszą samoświadomość i zdolność dostrzeżenia, kiedy AI prowadzi ich na manowce. Biorąc pod uwagę powyższe czynniki, sugeruje to, że używanie LLMów jest najlepsze w wypadku zadań, w których nie mamy ekspertyzy, ale też nie planujemy jej zdobywać. W tych zadaniach mogą one nam podbić wyniki relatywnie niskim kosztem, a problemy z rozwojem kompetencji nie mają większego znaczenia, gdyż nie planujemy i tak tych kompetencji rozwijać.

 

Pogorszone uczenie się

Korzystanie z AI negatywnie wpływa na proces uczenia się w obszarach, w których jest wykorzystywane. (Istnieją strategie pomagające temu przeciwdziałać, ale kosztem dość znaczącej zmiany sposobu korzystania z tych narzędzi.) Nie powinno to być zaskoczeniem w świetle opisanych wcześniej mechanizmów. Jeśli AI zastępuje nas w wykonywaniu danego zadania, to w naturalny sposób nie będziemy się uczyć realizacji tego zadania w tak efektywny sposób, jak gdybyśmy sami je wykonali. Zjawisko tzw. napięcia poznawczego („cognitive friction„), wysiłku występującego w toku uczenia się jest kluczowym sygnałem dla naszego mózgu, ważnym dla oznaczenia danych treści jako wartych utrwalenia. AI ułatwia rzeczy, zdejmuje to napięcie poznawcze, co tu i teraz jest miłe, ale ma długoterminowo negatywne konsekwencje. Potwierdza to również szereg badań, tak w zakresie pracy, jak i np. nauki szkolnej. Badania te sugerują też sposób, w który ten negatywny aspekt AI można ograniczyć lub wykluczyć. Wymaga to używania AI jako wsparcia, a nie jako zastępstwa dla pracy poznawczej.

Np. Badane osoby pisały eseje z pomocą narzędzi LLM, z wyszukiwarką internetową (bez przypisanego LLMu) oraz bez wsparcia, po czym w ostatniej sesji “odwracano” – osoby z grupy LLMowej miały pracować bez nich, osoby z grupy bezwsparciowej miały dostęp do LLMów. U osób korzystających z wsparcia zauważono znacząco niższą aktywnośc neuronalną, u osób działajacych bez wsparcia była najsilniejsza aktywnosć i obejmująca najszersze sieci neuronalne. Wykazały też najwyższą aktywność pamięci oraz przetwarzanie wzrokowe. Grupa LLMowa miała najniższe poczucie własności stworzonego dzieła, W grupach wyszukiwarkowej i bezwsparciowej poczucie własności było wysokoie. Grupa LLM miała też problemy z cytowaniem czegokolwiek z esejów, jakie napisała ledwie kilkanaście minut wcześniej (83% osób w tej grupie nie było w stanie tego zrobić). W perspektywie 4 miesięcy grupa LLMowa radziła sobie gorzej niż grupa bezwsparciowa na każdym poziomie – neurologicznym, językowym, jakości oddawanych prac.  Wadą w tym badaniu jest mała grupa, ale to akurat standard przy badaniach z neuroobrazowaniem.

W innym przypadku korzystanie z AI u programistów, którzy wykonywali nowe zadania (praca z biblioteką Trio w Pythonie) przekładało się na dużo gorsze zapamiętanie przepracowywanych treści i gorsze zrozumienie kodu, jaki właśnie napisali. Było to o tyle istotne, że o ile używanie AI nieco przyśpieszyło realizacje zadania, to różnica ta była drobna i statystycznie nieistotna. W tym badaniu wyszły jednak różnice w podejściu do korzystania z AI. (Co oznacza też, że realny spadek wyników osób źle korzystających z AI był nawet większy!) Kluczowe jest to, czy osoby pasywnie przyjmowały rozwiązania AI, czy też śledziły proces krok po kroku i kazały LLMom tłumaczyć się z poszczególnych kroków. (Trzeba tu wskazać na pewną wadę tego źródła – nie jest to stricte badanie peer review, choć autorzy próbowali trzymać się standardów naukowych.)

W innym małym badaniu,  61 osób w dwóch grupach uczyło się analizy statystycznej. Obydwie grupy dostały wprowadzenie do tematu, następnie postawiono je przed złożonym problemem, dużo trudniejszym, niż to czego się dotąd uczyli. Pierwsza grupa od razu dostała dostęp do ChatGPT i mogła skorzystać z niego w rozwiązywaniu problemu, druga najpierw samodzielnie próbowała rozwiązać problem i dopiero mogła skorzystać z LLMu. Druga uzyskała dużo lepszy wynik w teście weryfikującym opanowane kompetencje.

W jeszcze innym badaniu studenci dostali nieoczekiwany test 45 dni po uczeniu się z AI lub bez niego. Ci, którzy korzystali z AI mieli znacząco gorsze wyniki (57.5% vs 68.5%). Wcześniejsze doświadczenie w korzystaniu z AI nie było tu pomocą.

Warto tu wskazać, że da się zaprojektować zasady dla AI, żeby wspierało uczenie. (A przynajmniej nie przeszkadzało). W innym badaniu studenci korzystający z ChatGPT bezpośrednio mieli o 48% lepsze wyniki, ale później gdy mieli realizować zadania bez wsparcia, ich wyniki spadły o 17% w porównaniu do osób nie korzystających z AI. Natomiast studenci, którzy korzystali ze specjalnie zaprojektowanego “tutora”, który prowadził wnioskowanie zamiast podawać odpowiedzi uzyskali o 127% lepsze wyniki bezpośrednio i gorsze w sposób nieistotny statystycznie przy realizowaniu zadań bez wsparcia. (Co o tyle istotne, że tutor AI nie poprawiał ogólnych wyników). Jest też inne badanie wskazujące znaczącą przewagę studentów mentorowanych przez AI, ale co istotne badanie to testowało ich wyniki bezpośrednio po mentoringu, nie długoterminowo. W końcu ciekawe badanie sprawdzało efekty używania AI ale przez ludzkich tutorów wspierających uczniów i tu okazywało się ono dawać dobre efekty, przynajmniej na poziomie pojedynczych sesji. Potencjalnym problemem pozostaje kwestia długoterminowego rozwoju kompetencji takich tutorów – czy tym razem to im nie zabraknie tego napięcia poznawczego?

 

„Odciążenie poznawcze”/ Cognitive offloading

Odciążenie poznawcze (ang. cognitive offloading) to zjawisko polegające na przekazaniu obciążeń poznawczych na zewnętrzne narzędzia. Samo w sobie niekoniecznie jest czymś złym. Z jednej strony umożliwia większe skupienie na konkretnym problemie, dzięki wykorzystaniu oswobodzonych mocy poznawczych w produktywny sposób. Z drugiej może prowadzić do nadmiernego polegania na tych narzędziach oraz utraty zdolności radzenia sobie bez nich. (Najbardziej klasycznym przykładem jest tu wspomniana wcześniej kwestia nawigowania bez wykorzystania systemów GPS.)

Np. Przepytanie 666 osób o stosowanie AI wskazało, że im większy stopień polegania na AI, tym większa tendencja do odciążenia poznawczego i tym rzadziej stosowały narzędzia myślenia krytycznego.  Co tym bardziej problematyczne, że w innym badaniu 319 pracowników intelektualnych tylko 36% wskazało, że stosuje narzędzia myślenia krytycznego przy korzystaniu z AI, pozostali przyjmowali to co generowały LLMy na wiarę.

Inna publikacja wprowadza wręcz termin „cognitive surrender”, „kapitulacji poznawczej”, czyli całkowitego oddania odpowiedzialności za decyzje narzędziom AI. Silnym czynnikiem tutaj jest wiara w jakość AI. Im wyższa, tym większa tendencja do takiej kapitulacji poznawczej. Trzy relatywnie duże badania (po ok. 300 osób w każdym) opisane w ramach jednej publikacji dawały osobom badanym szereg pytań i, w części przypadków, wsparcie w postaci sugestii AI, przy czym część tych podpowiedzi była zaprojektowana, by być błędna. Gdy odpowiedzi sugerowane przez AI były błędne, jedynie ok. 20% osób badanych decydowało się odpowiedzieć wbrew nim. (W porównaniu z 7% badanych decydujących się odpowiedzieć wbrew poprawnym podpowiedziom z AI.) AI okazywało się faktycznie korzystne dla wyników korzystających z nich osób w jednym wypadku – bardzo silnej presji czasowej. W trzecim eksperymencie osoby badane miały dodatkową motywację by każda ich odpowiedź była poprawna (zarabiały pieniądze w zależności od liczby poprawnych odpowiedzi) oraz dostawały po każdej odpowiedzi informacje zwrotne odnośnie poprawności odpowiedzi, co doprowadziło do znaczącego zwiększenia niezgadzania się z AI (do ok 40%).

Zjawisko kapitulacji poznawczej jest tym bardziej problematyczne, że błędne odpowiedzi AI są bardzo trudne do wychwycenia przy szybkiej weryfikacji, a osoby korzystające z AI typowo bardziej pewne swoich wyników. W kolejnym badaniu 758 konsultantów Boston Consulting Group wykonywało szereg zadań typu zaprojektowanie nowych produktów czy złożone zadania menadżerskie. Zadania zostały zaprojektowane przez innych konsultantów tak, by odzwierciedlały realne wyzwania pracowe, z jakimi konsultanci BCG muszą sobie radzić na codzień w pracy. Jeśli zadanie realizowane było w zakresie kompetencji narzędzi AI, prowadziło to do wzrostu efektywności +12% więcej zrealizowanych zadań, 25% szybciej, 25% wyższa jakość. ale gdy zadania wykraczały poza zakres kompetencji AI, konsultanci korzystający ze wsparcia mieli o 29% większe szanse na udzielenie błędnych odpowiedzi. Ich rozwiązania wydawały się dopracowane, ale były błędne na subtelne sposoby, trudne do wychwycenia na pierwszy rzut oka. Osoby korzystające z AI były też dużo bardziej pewne jakości swojej pracy. (Uwaga dla sprawdzających badanie – w streszczeniu twierdzą, że na udzielenie błędnych odpowiedzi były o 19% większe szanse, ale dane z tabelki wskazują raczej na 29%.)

 

Zmiana postaw

Same sugestie AI, nawet gdy z nich nie korzystamy, mogą mieć wpływ na nasze postawy, w sposób którego nie wychwytujemy.. Badania w tym zakresie prowadzono na dużych grupach, 1-1.5 tysiąca osób. Osoby badane udzielały odpowiedzi na pytania, a asystent AI podpowiadał im zakończenie zdania w sposób uprzedzony ku pewnym postawom. Później osoby badane pytano o własne poglądy w temacie i poglądy te zmierzały bardziej w kierunku tego, co sugerowały ich uprzedzone LLMy, choć osoby badane nie były świadome tego, że uległy takim uprzedzeniom. Biorąc pod uwagę, że inne badania sugerują, że LLMy wykazują konkretne uprzedzenia, np. w kierunku modnych biznesowych terminów, taki wpływ może mieć duże znaczenie dla decyzyjności użytkowników.

 

 

Problemy ze zdrowiem psychicznym

Zdrowie psychiczne jest tym obszarem, gdzie dane na temat wartości AI nie są wyłącznie negatywne. Istnieją bowiem badania wskazujące na potencjalną wartość chatbotów AI w redukcji objawów depresyjnych. Jednocześnie ten sam systematyczny przegląd wskazuje, że nie przekładało się to na wzrost ogólnego dobrostanu użytkowników. Pojawia się więc pytanie na ile AI faktycznie tu pomogło, a na ile np. nauczyło badane osoby „lepiej” odpowiadać na pytania o symptomy depresji, ale nie rozwiązało ich faktycznych problemów. Tym bardziej ,że  mamy badania wskazujące na negatywne konsekwencje korzystania z AI. Danych nie ma tu niestety bardzo dużo, ale te które mamy sugerują, że dłuższe wykorzystywanie LLMów prowadzi do problemów poznawczych oraz uzależnień. Osoby dużo korzystające z LLMów do rozmów z jednej strony zgłaszają redukcję objawów samotności, ale z drugiej wycofują się z aktywnego życia społecznego. Efekt ten jest silniejszy zwłaszcza w przypadku osób z pozabezpiecznymi stylami przywiązania. Mamy też badanie MIT wskazujace, że im więcej ktoś z własnej woli korzystał z chatbotów, tym większe miał poczucie samotności. W świetle tego co wiemy o mechanizmach lękowych, LLMy okazują się więc być raczej strategiami unikowymi, niż realnym wsparciem.

Złudzenie wydajności

Wielu użytkowników AI może chcieć reagować na powyższe dane wskazując, że coś musiało być nie tak z protokołem badań, używaną wersją, itp. gdyż w ich doświadczeniu AI przekłada się na wzrost wydajności. Jak jednak wskazują dostępne badania, ocena własnej wydajności w korzystaniu z AI jest mocno problematyczna. Dla przykładu, klasyczne badanie sprawdzało efektywność programistów korzystających z LLMów. O ile sami szacowali, że będą pracować wydajniej i później uważali, że pracowali wydajniej, to rzeczywistość była zdecydowanie odmienna. Doświadczeni deweloperzy korzystający z LLMów uważali, że piszą kod o 24% szybciej, a w praktyce pisali około 20% wolniej, niż grupa niewspierana. Trzeba tu wskazać, że sami autorzy pierwotnego zrobili tu follow-up wskazujący, że obecnie może wystąpić drobne zwiększenie produktywności (rzędu 4%) przy wykorzystaniu AI… Jednocześnie ze względu na szereg problemów z doborem grupy eksperymentalnej, sami autorzy wskazują, że podane wyniki są bardzo niepewne. Nawet w tym wypadku wyniki były dość niepewne, a przyśpieszenie nie było wielkie (18% szybsze wyniki u developerów rekrutowanych z pierwotnej puli badanych, 4% z nowszej). Co kluczowe, nawet przyjmując te niskojakościowe wyniki jako prawdziwe, realne przyśpieszenie byłoby i tak dużo wolniejsze, niż to jak deweloperzy wyobrażali sobie, że AI przyśpieszyło ich pracę. No i mowa tu o wykonaniu zadań, nie o ich jakości czy utrzymywalności. To o tyle ważne, że nowe badanie z Harvardu wskazuje, że w wypadku programistów, a więc osób rzekomo najbardziej dostosowanych do korzystania z LLMów w swojej pracy, owszem produkują o 30% więcej kodu… Ale nie przekłada się to na dowożenie czegokolwiek szybciej… Gdyż ten kod wyprodukowany przez LLMy wymaga teraz dużo więcej korekty i to im zżera więcej czasu.

Niestety, jak pisałem wielokrotnie m.in. w kontekście optymalnego czasu pracy, jesteśmy wyjątkowo kiepscy w szacowaniu tego, na ile faktycznie wydajnie pracujemy.

 

Wypalenie poznawcze, czyli „Brain fry”

HBR przeprowadził może nie tyle badanie, ale sondaż na temat poznawczych skutków korzystania z AI. Przepytali 1,5 tys osób o stosowanie AI. Badani wskazali na występowanie znaczącego wyczerpania poznawczego przy nadzorowaniu agentów AI. Zjawisko to zostało określone jako “AI Brain Fry”, chodzi tu o poczucie “mgły myślowej”, pewnego „zamroczenia” i “bzyczenia”, mające prowadzić do większego zmęczenia, wolniejszego podejmowania decyzji i bolów głowy. Prowadziło też do większej ilości błędów, wyczerpania podejmowaniem decyzji i chęci rezygnacji z pracy. Tam gdzie ich praca wymagała większego monitorowania AI, badani zgłaszali 14% większy wysiłek, 12% większe zmęczenie mentalne i 19% większe poczucie przeciążenia informacjami. Osoby doświadczajace „brain fry” popełniały 11% więcej małych błędów i 39% dużych. O ile 25% osób  nie doświadczających „brain fry” rozważało szukanie nowej pracy, u doświadczających rozważało to aż 34%.

Efekt ten jest słabszy, gdy LLMy zastępują rutynowe, powtarzalne zadania. Wtedy nawet pomaga w redukcji wypalenia. Jest silniejszy, gdy pracownicy są pod presją do stosowania agentów AI. Liczba stosowanych narzędzi ma też znaczenie, problem był szczególnie istotny przy stosowaniu ponad trzech narzędzi równolegle. Poczucie przeciążenia poznawczego było też wyższe u osób pracujących w organizacjach oczekujących dowożenia więcej przy użyciu AI, zwłaszcza gdy brakowało jasnych strategii użycia.

 

Co możemy robić?

Na tyle, na ile to możliwe, staraj się obiektywnie mierzyć efekty korzystania z AI i wybierać te zadania, gdzie możesz jasno zweryfikować ich użyteczność. Nie „wydaje się szybciej”, nie „czuję, że jestem wydajniejsza”, tylko „wcześniej realizowałem to zadanie w dwie godziny, teraz w półtorej, wliczając w to czas poświęcony na przygotowanie LLMu do zadania oraz na weryfikację efektów”. Te dwa elementy są tu dość istotne, jak pokazuje wspomniane badanie z Harvard/MIT, w którym programiści co prawda pisali więcej kodu, ale potem spędzali proporcjonalnie więcej czasu na jego korekcie, bez realnych efektów końcowych.

 

Miej świadomość, że Twoja pamięć może i tak być mniej aktywna niż bez korzystania ze wsparcia AI i co jakiś czas zmuś się do rozwiązania danego problemu ręcznie, tak by nie wyjść z wprawy. Jest to niestety wymagające i może być frustrujące, możesz mieć pokusę by sięgnąć po takie narzędzia ułatwiające. Tylko ten wysiłek, ta frustracja, one są  tu celem, a nie ceną!

 

5. Aktywnie stosuj narzędzia krytycznego myślenia, podważaj propozycje AI

Zakładaj, że AI prawdopodobnie się myli. (Zwłaszcza, że to niestety fakt, nie da się usunąć ryzyka tzw. halucynacji z funkcjonalności współczesnych AI.) Weryfikuj jego owoce, nie ufaj wynikom, tylko sprawdzaj i traktuj raczej jako punkt wyjścia, a nie finalny efekt. Wymaga to wysiłku, ale chroni przed kapitulacją poznawczą.

 

 

 

Wiem, że to nie jest łatwe – wziąć narzędzie, które ma ułatwiać działanie i teraz celowo nie ułatwiać sobie nim rzeczy za bardzo. Nasz mózg dąży w końcu do minimalizacji wysiłku. W tym wypadku jednak ta minimalizacja jest poznawczo równie szkodliwa, jak fizycznie położenie się do łóżka i nie wychodzenie z niego do końca życia.