Sztuczna inteligencja, która brzmi jak człowiek

Najnowsze badania pokazują, że wielkie modele językowe (LLM) generują wypowiedzi w sposób zaskakująco podobny do ludzkiego myślenia. Naukowcy porównali sposób, w jaki ludzie oraz model GPT-J przekształcają przymiotniki w rzeczowniki, odkrywając fascynujące podobieństwa.

W jaki sposób LLM przekształca słowa?

Zadanie polegało na dodaniu sufiksów, takich jak "-ness" czy "-ity", do przymiotników – na przykład "happy" zmienia się w "happiness". Naukowcy stworzyli zestaw 200 przymiotników, takich jak "cormasive" czy "friquish", i poprosili LLM o zamianę ich w rzeczowniki. Co ciekawe, odpowiedzi modelu były porównywane z tymi, które udzielali ludzie oraz z przewidywaniami znanych modeli poznawczych.

Analogiczne myślenie jako klucz do sukcesu

Zaskakujące wyniki pokazały, że LLM, podobnie jak ludzie, opiera swoje odpowiedzi na analogiach. Na przykład słowo "friquish" zmieniło się w "friquishness" na podstawie skojarzeń z innymi słowami. Naukowcy odkryli, że LLM nie korzysta z sztywnych reguł, lecz działa na podstawie podobieństw.

Rola danych treningowych

Wyniki badania ujawniły również, jak wielki wpływ mają dane treningowe na generowanie słów przez LLM. Analizując odpowiedzi na pytania dotyczące 50 tysięcy istniejących słów, naukowcy zauważyli, że LLM podejmuje próby przewidywania odpowiedzi na podstawie danych, które już zna.

Ludzki sposób myślenia a sztuczna inteligencja

Badacze zidentyfikowali znaczną różnicę między sposobem, w jaki ludzie i LLM przetwarzają język. Ludzie budują mentalne słowniki, w których przechowują różnorodne formy wyrazów, nawet jeśli nie są one powszechnie używane. Potrafią dostrzegać, że słowa jak "friquish" czy "cormasive" to nieistniejące neologizmy, formułując generalizacje w oparciu o zróżnicowanie słownictwa.

Ograniczenia LLM i ich potęga

Z pomimo imponującej zdolności generowania wypowiedzi, LLM nie myślą tak abstrakcyjnie jak ludzie. To prawdopodobnie jest powód, dla którego potrzebują ogromnych zbiorów danych do nauki języka. Profesor Janet Pierrehumbert podkreśla, że różnice te są kluczowe, aby zrozumieć, jak funkcjonuje sztuczna inteligencja w kontekście językowym."