На каком языке думают нейросети?

Большие языковые модели (LLM), такие как ChatGPT от Open AI и Gemini от Google, удивляют способностью хорошо понимать запросы пользователей и естественно им отвечать. С этими LLM можно взаимодействовать на любом языке, они обучаются с использованием сотен миллиардов текстовых параметров, в основном, на английском. Уже выдвигались предположения, что LLM выполняют большую часть внутренней обработки на английском языке, а затем в самый последний момент переводят на целевой язык. Но до сегодняшнего дня доказательств этому было мало.

Исследователи из Лаборатории обработки данных (DLAB) факультета компьютерных наук и коммуникаций Федеральной политехнической школы Лозанны (EPFL) изучили LLM Llama-2 с открытым исходным кодом, чтобы попытаться определить, какие языки использовались на разных этапах всей цепочки. Ученые задались вопросом, используют ли многоязычные языковые модели английский в качестве внутреннего опорного языка — это ключевой вопрос для понимания того, как функционируют языковые модели.

Большие языковые модели обучены предсказывать следующее слово. Для этого они сопоставляют каждое слово с вектором чисел, то есть с многомерной точкой данных. Модели объединяют около 80 слоев идентичных вычислительных блоков, каждый из которых преобразует вектор, представляющий слово, в другой вектор. В конце этой последовательности из 80 преобразований получается вектор, представляющий следующее слово. Количество вычислений определяется количеством слоев расчетных блоков. Чем больше вычислений, тем мощнее модель и тем больше вероятность того, что следующее слово будет правильным.

В статье, которая вышла в препринте на arXiv, исследователи описывают, как заставили модель реагировать после каждого слоя каждый раз, когда она пыталась предсказать следующее слово, вместо того, чтобы позволить ей выполнять вычисления на основе 80 слоев. Так ученые смогли увидеть, какое слово предсказала бы модель в тот момент. 

Исследователи ставили разные задачи, например просили языковую модель перевести серию французских слов на китайский. Так, они дали LLM французское слово, затем китайский перевод, еще одно французское слово, китайский перевод и т. д., поэтому модель «знала», что она должна перевести французское слово на китайский. В идеале модель должна давать 100% вероятность для китайского слова. Но когда ученые заставили ее делать прогнозы перед последним слоем, они заметили, что большую часть времени модель предсказывала английский перевод французского слова, хотя английский в этой задаче нигде не фигурировал. И только в последних четырех или пяти слоях китайский встречается чаще, чем английский.

Предположение авторов работы заключается в том, что модель переводит все введенные данные на английский язык и в конце переводит все обратно на целевой язык. Однако после анализа данных исследователи пришли к гораздо более интересной теории.

На первом этапе вычислений ни одному слову не присваивается вероятность. Модель ориентирована на решение входных задач. На втором этапе, когда доминирует английский язык, исследователи полагают, что модель находится в своего рода абстрактном семантическом пространстве, где она рассуждает не об отдельных словах, а о других типах представлений, которые касаются большего числа понятий, универсальны для всех языков и представляют собой, скорее, глобальную модель.

Команда предполагает, что такое глобальное представление смещено в сторону английского языка, что имело бы большой смысл, поскольку данные, используемые для обучения этих моделей, примерно на 90% на английском языке. 

Но важно ли, на каком языке «думает» нейросеть? Ученые полагают, что это имеет огромное значение. Согласно многочисленным исследованиям, структуры, существующие в языке, влияют на то, как мы конструируем реальность, а слова, которые мы используем, глубоко связаны с тем, как мы думаем о мире. В научном мире даже планируется изучать психологию языковых моделей, обращаясь с ними, как с людьми, и проводя с ними интервью на разных языках, подвергая их поведенческим тестам и оценивая их предубеждения.