„ChatGPT sprawia, że stajesz się głupi”, „Sztuczna inteligencja szkodzi mózgowi”, „Badanie MIT: sztuczna inteligencja powoduje pogorszenie funkcji poznawczych”. W ostatnich miesiącach takie alarmujące nagłówki dominowały w mediach ogólnych, podsycając bezpodstawne obawy dotyczące wykorzystania sztucznej inteligencji w edukacji i pracy. Ale co naprawdę mówi nauka? Krytyczna analiza literatury ujawnia znacznie bardziej złożoną i, co najważniejsze, bardziej optymistyczną rzeczywistość.
Badanie MIT Media Lab „Your Brain on ChatGPT” wywołało falę alarmistycznych doniesień medialnych, często opartych na błędnej interpretacji wyników. Opublikowane jako preprint (a więc niepoddane recenzji), badanie objęło zaledwie 54 uczestników z okolic Bostonu, z których tylko 18 ukończyło kluczową sesję.
Niewystarczająca próba: Przy łącznej liczbie 54 uczestników badanie nie ma wystarczającej mocy statystycznej, aby wyciągnąć ogólne wnioski. Jak przyznają sami badacze, „próba jest niewielka” i „jednorodna: osoby mieszkające w pobliżu MIT z pewnością nie odzwierciedlają rozkładu populacji na świecie”.
Problematyczny projekt eksperymentalny: Uczestnicy musieli napisać eseje SAT w zaledwie 20 minut – sztuczne ograniczenie, które w naturalny sposób skłania do kopiowania i wklejania zamiast do refleksyjnej integracji. Projekt ten „dobrze naśladuje naturalne ograniczenia życia codziennego”, takie jak „termin upływa jutro” lub „wolałbym pograć w gry wideo”, ale nie stanowi pedagogicznie świadomego wykorzystania sztucznej inteligencji.
Zmieszanie efektu oswojenia: Grupa „tylko mózg” wykazała stopniową poprawę w pierwszych trzech sesjach, po prostu oswajając się z zadaniem. Kiedy grupa AI musiała pisać bez pomocy w czwartej sesji, zmagała się z zadaniem po raz pierwszy, nie mając za sobą praktyki.
Podczas gdy media skupiały się na alarmujących wynikach badań MIT, znacznie bardziej rygorystyczne badania przyniosły zupełnie inne wyniki.
Badanie przeprowadzone na Uniwersytecie Nauki i Technologii im. Kwame Nkrumaha objęło 125 studentów w ramach kontrolowanego projektu randomizowanego trwającego cały semestr. Wyniki tego badania są sprzeczne z wnioskami MIT:
Krytyczne myślenie: Uczniowie korzystający z ChatGPT poprawili swoje wyniki z 28,4 do 39,2 punktów (+38%), znacznie przewyższając grupę kontrolną (z 24,9 do 30,6, +23%).
Kreatywne myślenie: Jeszcze bardziej spektakularny wzrost, z 57,2 do 92,0 punktów (+61%) dla grupy ChatGPT, z poprawą we wszystkich sześciu mierzonych wymiarach: odwaga, innowacyjność, ciekawość, samodyscyplina, wątpliwości i elastyczność.
Myślenie refleksyjne: Znaczna poprawa z 35,1 do 56,6 punktów (+61%), wskazująca na większą zdolność do autorefleksji i metapoznania.
Istotne różnice metodologiczne: W badaniu przeprowadzonym w Ghanie wykorzystano sprawdzone skale (Cronbach α > 0,89), potwierdzającą analizę czynnikową, kontrole ANCOVA dla wyników przedtestowych oraz – co najważniejsze – zintegrowano ChatGPT w rzeczywistym kontekście edukacyjnym z odpowiednim wsparciem pedagogicznym.
Najbardziej rygorystyczne dostępne badanie objęło 758 konsultantów Boston Consulting Group w ramach wcześniej zarejestrowanego i kontrolowanego eksperymentu. Wyniki były jednoznaczne:
Jak podkreśla Ethan Mollick, współautor badania: „Doradcy korzystający z ChatGPT znacznie przewyższali tych, którzy tego nie robili. Pod każdym względem. Niezależnie od tego, w jaki sposób mierzyliśmy wyniki”.
Systematyczny przegląd badań dotyczących sztucznej inteligencji w szkolnictwie wyższym wykazał znaczące korzyści:
Międzynarodowe badanie przeprowadzone na 401 chińskich studentach z wykorzystaniem modeli równań strukturalnych potwierdziło, że „zarówno sztuczna inteligencja, jak i media społecznościowe mają pozytywny wpływ na wyniki w nauce i samopoczucie psychiczne”.
Relacje mediów na temat badania MIT stanowią symboliczny przykład tego, jak sensacja może zniekształcić publiczne rozumienie nauki.
Typowy tytuł: „Badanie MIT dowodzi, że ChatGPT ogłupia”
Rzeczywistość: Wstępne, niepoddane recenzji badanie z udziałem 54 uczestników wykazało różnice w połączeniach neuronowych podczas wykonywania sztucznych zadań.
Typowy tytuł: „Sztuczna inteligencja uszkadza mózg”
Rzeczywistość: EEG wykazuje różne wzorce aktywacji, które można interpretować raczej jako wydajność neuronową niż uszkodzenie.
Typowy tytuł: „ChatGPT powoduje pogorszenie funkcji poznawczych”
Rzeczywistość: Badanie z poważnymi ograniczeniami metodologicznymi, które zostało podważone przez bardziej rygorystyczne badania.
Główna badaczka z MIT, Nataliya Kosmyna, przyznała, że umieściła w artykule „pułapki”, aby uniemożliwić modelom LLM dokładne streszczenie jego treści. Jak na ironię, wielu użytkowników mediów społecznościowych wykorzystało właśnie modele LLM do streszczenia i udostępnienia badania, nieświadomie potwierdzając praktyczną użyteczność tych narzędzi.
Poważne badania nad sztuczną inteligencją w edukacji nie zaprzeczają istnieniu wyzwań, ale przedstawiają je w bardziej złożony sposób. Koncepcja „postrzępionej granicy technologicznej” przedstawiona w badaniu Harvardu pokazuje, że sztuczna inteligencja doskonale radzi sobie z niektórymi zadaniami, podczas gdy w przypadku innych, pozornie podobnych, może sprawiać problemy.
Czas wprowadzenia: Dowody wskazują, że rozwinięcie podstawowych umiejętności przed wprowadzeniem sztucznej inteligencji może zmaksymalizować korzyści. Jak zauważono w samym badaniu MIT, uczestnicy programu „Brain-to-LLM wykazywali lepszą pamięć i aktywację obszarów potyliczno-ciemieniowych i przedczołowych”.
Projekt pedagogiczny: Badanie przeprowadzone w Ghanie pokazuje, jak ważne jest połączenie sztucznej inteligencji z odpowiednim wsparciem edukacyjnym, dobrze zaprojektowanymi podpowiedziami i jasnymi celami nauczania.
Istotny kontekst: Wykorzystanie sztucznej inteligencji w rzeczywistych kontekstach edukacyjnych, a nie w sztucznych zadaniach, daje diametralnie różne wyniki.
Wypaczone relacje mediów nie są jedynie problemem akademickim – mają one realne konsekwencje dla wdrażania potencjalnie korzystnych technologii.
Jak przyznaje sama Kosmyna: „To, co skłoniło mnie do opublikowania tego teraz, przed oczekiwaniem na pełną recenzję, to obawa, że za 6–8 miesięcy jakiś decydent polityczny podejmie decyzję o wprowadzeniu przedszkoli GPT. Uważam, że byłoby to absolutnie negatywne i szkodliwe”.
To oświadczenie ujawnia motywację rzeczniczą, która powinna wzbudzić podejrzenia co do naukowej neutralności badań.
Badanie przeprowadzone wśród 28 698 inżynierów oprogramowania wykazało, że tylko 41% z nich wypróbowało narzędzia AI, a odsetek ten był jeszcze niższy wśród kobiet (31%) i inżynierów powyżej 40. roku życia (39%). Alarmistyczne nagłówki przyczyniają się do tych uprzedzeń, potencjalnie pozbawiając wielu pracowników udowodnionych korzyści płynących z AI.
Firmy zajmujące się sztuczną inteligencją muszą znaleźć równowagę między entuzjazmem dla technologii a szczerą komunikacją na temat jej ograniczeń. Wyniki poważnych badań sugerują rzeczywiste korzyści wynikające z przemyślanej implementacji sztucznej inteligencji, ale także konieczność:
Zamiast reagować defensywnie na negatywne nagłówki, branża AI powinna:
Historia badania MIT i jego relacji w mediach dostarcza ważnych wniosków dla wszystkich interesariuszy ekosystemu sztucznej inteligencji.
Presja publikowania wyników „wartych opublikowania” nie może wpływać negatywnie na rygor metodologiczny. Preprinty mogą być przydatne w debacie naukowej, ale wymagają ostrożnego informowania o ich ograniczeniach.
Opinia publiczna zasługuje na rzetelne relacje, które rozróżniają:
Przyszłość sztucznej inteligencji w edukacji zależy od przemyślanych wdrożeń opartych na solidnych dowodach, a nie od reakcji na najnowsze sensacyjne nagłówki.
Podczas gdy debata toczy się na pierwszych stronach gazet, poważne badania ujawniają prawdziwy potencjał sztucznej inteligencji w zakresie demokratyzacji dostępu do wysokiej jakości doświadczeń edukacyjnych. Badanie przeprowadzone w Ghanie pokazuje, że odpowiednio wdrożona sztuczna inteligencja może:
Pytanie nie brzmi, czy sztuczna inteligencja zmieni edukację, ale jak możemy odpowiedzialnie pokierować tą zmianą. Odpowiedź leży w rzetelnej nauce, a nie w sensacyjnych nagłówkach.
Źródła i odniesienia:
Aby być na bieżąco z poważnymi badaniami naukowymi dotyczącymi sztucznej inteligencji (bez sensacji), śledź nasz blog firmowy i zapisz się do naszego newsletter.
.svg)
.svg)
.svg)
.jpeg)
.png)
