Машины могут заговорить на языках, которых люди не знают
Новое исследование команды из Института автоматизации Китайской академии наук, исследует возможность возникновения языка, на котором будут общаться между собой машины.
С появлением больших языковых моделей (LLM) ИИ развивается, постепенно осваивая навыки мышления. В этом процессе человеческий язык-посредник является ключевым компонентом. В новом исследовании ученые поставили вопрос, могут ли машины спонтанно и самостоятельно создать собственный язык, который опирается только на визуальные представления и не полагается на человеческий язык.
Исследователи начали с моделирования возникновения языка в самом простом сценарии игры двух агентов. Их целью было создание языка при взаимодействии этих агентов. Используя игру «Говори, угадай и нарисуй» в качестве платформы, исследователи демонстрируют возможности нейронных сетей в создании дискретных и семантических представлений.
Язык машин в такой игре действительно появился, то есть на определенных наборах агенты достигли взаимопонимания.
Команда сравнила символический дискретный язык с непрерывными функциями языка больших языковых моделей (LLM) с трех точек зрения: интерпретируемость, обобщение и надежность на различных наборах данных.
LLM обучаются на больших наборах связных текстов. Фактически они учатся правильно заполнять пробелы в гигантском тексте, чтобы возникало непрерывное (гладкое) сообщение.
Язык возникающий из визуальных представлений без языка-посредника — язык дискретный. Как показали ученые, такой язык обладает интерпретируемостью и способностью к обобщению, как и LLM. Но дискретный язык оказывается надежнее при возникающих возмущениях.
Изучение дискретного языка-машин представляет собой ценное направление в исследованиях искусственного интеллекта. Представьте себе будущее, в котором интеллектуальные агенты будут свободно развиваться в конкретной среде, общаясь и сотрудничая посредством спонтанного возникающего языка.