Badania nad procesami poznawczymi, które leżą u podstaw rozumienia i przetwarzania języka, trwają od dziesięcioleci. Pojawienie się zaawansowanych modeli językowych, takich jak ChatGPT, otworzyło nowe możliwości w tym obszarze, dostarczając narzędzia do badania tego, jak ludzie kodują, reprezentują i przetwarzają język. Coraz więcej badań w dziedzinie psychologii i nauk behawioralnych porównuje działanie człowieka z działaniem tych modeli, w nadziei na lepsze zrozumienie mechanizmów rządzących rozumieniem języka. Z uwagi na fundamentalne różnice między ludzkim mózgiem a architekturą sztucznych sieci neuronowych, zaprojektowanie testów, które realistycznie odzwierciedlą sposób, w jaki oba systemy przetwarzają język, stanowi poważne wyzwanie.
Nowe zadanie badawcze ujawnia zaskakujące podobieństwa
Naukowcy z Uniwersytetu Zhejiang w Chinach opracowali nowatorskie zadanie badawcze, które ma na celu zbadanie sposobu, w jaki zdania są reprezentowane i przetwarzane przez ludzi oraz przez duże modele językowe. Wyniki ich badań, opublikowane w czasopiśmie Nature Human Behavior, sugerują, że zarówno ludzie, jak i modele językowe, podczas próby skrócenia zdania, mają tendencję do eliminowania tych samych słów, co wskazuje na pewne wspólne elementy w sposobie, w jaki kodują strukturę zdania. Jak zauważają autorzy w swoim artykule, zrozumienie, w jaki sposób zdania są reprezentowane w ludzkim mózgu oraz w dużych modelach językowych, stanowi poważne wyzwanie dla nauki poznawczej. Celem ich pracy było opracowanie nowej metody – zadania uczenia się z jednego przykładu – aby zbadać, czy ludzie i modele językowe kodują w zdaniach elementy o strukturze drzewiastej.
Metodologia badań: połączenie ludzkiej intuicji i mocy AI
Badanie obejmowało serię eksperymentów z udziałem 372 uczestnikami. Grupa składała się z native speakerów języka chińskiego, native speakerów języka angielskiego oraz osób dwujęzycznych, posługujących się oboma językami. Uczestnicy wykonywali zadanie językowe, które następnie zostało powtórzone przez ChatGPT. Zadanie polegało na usunięciu fragmentu słów ze zdania. Zarówno uczestnicy, jak i ChatGPT, przed przystąpieniem do właściwego zadania, byli prezentowani z jednym przykładem demonstracyjnym, który miał pomóc im zrozumieć regułę, którą mieli zastosować do kolejnych zdania.
Centralnym elementem eksperymentu było prośba o wyciągnięcie wniosków, które słowa należy usunąć z danego zdania. Zaskakujące okazało się, że zarówno ludzie, jak i model ChatGPT, wykazywali tendencję do usuwania pełnych, spójnych jednostek gramatycznych – tzw. konstytuentów – zamiast losowych sekwencji słów. Co więcej, sekwencje słów, które były usuwane, różniły się w zależności od języka, w którym wykonywane było zadanie, odzwierciedlając specyficzne dla każdego języka reguły gramatyczne.
Wspólne zasady, odmienne realizacje
Wyniki sugerują, że wewnętrzne reprezentacje zdania w modelach językowych są zgodne z teoriami lingwistycznymi. Fakt, że zarówno ludzie, jak i ChatGPT, eliminowali pełne konstytuenty, zamiast losowych sekwencji słów, wskazuje na wbudowaną w proces przetwarzania języka świadomość struktury zdania.
Autorzy podkreślają, że zaobserwowane zależności nie mogą być wyjaśnione jedynie uwzględniając właściwości poszczególnych słów i ich położenia w zdaniu. Co istotne, na podstawie słów, które zostały usunięte zarówno przez ludzi, jak i przez model LLM, udało się skutecznie zrekonstruować strukturę drzewiastą zdania, co wskazuje na fundamentalne znaczenie tej formy reprezentacji języka.
Konsekwencje dla teorii poznawczych
Ogólnie rzecz biorąc, wyniki zespołu naukowców sugerują, że zarówno ludzie, jak i modele językowe, podczas przetwarzania języka, kierują się ukrytymi reprezentacjami składniowymi, a konkretnie reprezentacjami zdania o strukturze drzewiastej. Oznacza to, że w pewnym sensie, proces kodowania języka w systemach sztucznych naśladuje procesy zachodzące w ludzkim mózgu, choć na zupełnie innych podstawach.
Odkrycie to ma istotne implikacje dla teorii poznawczych dotyczących przetwarzania języka. Sugeruje, że nawet modele sztucznej inteligencji, pozbawione świadomości i doświadczenia, mogą w pewnym stopniu odtwarzać złożone struktury poznawcze, które leżą u podstaw ludzkiego rozumienia języka.
Przyszłe kierunki badań
Naukowcy podkreślają, że ich praca stanowi punkt wyjścia do dalszych badań nad sposobem, w jaki modele językowe i ludzie reprezentują język. Przyszłe badania mogą wykorzystać zmodyfikowane wersje zadania usuwania słów lub opracować zupełnie nowe paradygmaty badawcze, aby pogłębić naszą wiedzę na temat wzorców reprezentacji językowych w różnych systemach. Istotne będzie również zbadanie, w jaki sposób czynniki takie jak kontekst, doświadczenie i emocje wpływają na procesy kodowania języka w ludzkim mózgu i w modelach sztucznej inteligencji.
Rozumienie mechanizmów, które leżą u podstaw przetwarzania języka, jest kluczowe dla rozwoju bardziej zaawansowanych modeli sztucznej inteligencji, które będą w stanie nie tylko generować tekst, ale także rozumieć go w sposób bardziej zbliżony do ludzkiego. Ponadto, wiedza ta może przyczynić się do lepszego zrozumienia zaburzeń językowych i opracowania skuteczniejszych metod ich leczenia.