Исследование показало, что чат-боты думают только на английском языке
Выяснилось, на каком языке думают большие языковые модели
Исследователи из Федеральной политехнической школы Лозанны (Швейцария) выяснили, на каком языке происходят внутренние процессы больших языковых моделей (LLM), лежащих в основе чат-ботов.
Ученые протестировали три версии модели Llama 2, поскольку у нее открытый исходный код (таким образом можно проанализировать каждый этап обработки запроса).
В рамках теста ИИ были заданы три типа запросов на китайском, французском, немецком и русском языках. Первой задачей было повторить слово, второй — сделать перевод между двумя языками, третьей — дополнить предложение «__ используют в таких видах спорта, как футбол и баскетбол».
Выяснилось, что в процессе обработки запроса чат-бот неизменно проводит его через «английское подпространство». Например, при переводе с китайского на русский посередине запрос переводится в английский.
По мнению ученых, приверженность ИИ английском языку не позволяет ему передавать культурные особенности. «Если английский станет основным языком, на котором системы обрабатывают запросы, мы, скорее всего, потеряем концепции и нюансы, которые можно оценить только на других языках», — говорят эксперты из Оксфордского университета.
