ChatGPT хитро копирует своих пользователей, чтобы казаться умным
Языковая модель ChatGPT с искусственным интеллектом (ИИ) привлекла внимание людей во всем мире в последние месяцы. Этот обученный компьютерный чат-бот может генерировать текст, отвечать на вопросы, переводить текст и учиться на основе команд пользователей. Большие языковые модели, такие как ChatGPT, могут иметь множество применений в науке и бизнесе, но насколько эти инструменты понимают, что мы им говорим, и как они решают, что нам ответить?
Повторяй, чтобы казаться умнее
В новой статье, опубликованной в журнале Neural Computation, профессор Солк Терренс Сейновски, автор книги «Революция глубокого обучения», исследует взаимосвязь между человеком-интервьюером и языковыми моделями, чтобы выяснить, почему чат-боты реагируют на команды людей определенным образом, почему эти ответы различаются и как их улучшить в будущем.
В статье Сейновски описывает тестирование больших языковых моделей GPT-3 (родительских для ChatGPT) и LaMDA, чтобы увидеть, как они будут реагировать на определенные запросы. Часто чат-ботов заставляют пройти тест Тьюринга, чтобы определить, насколько хорошо они проявляют человеческий интеллект, но Сейновски хотел подсказать ботам то, что он называет «обратным тестом Тьюринга». В этом тесте чат-бот должен определить, насколько хорошо интервьюер показывает человеческий интеллект.
Развивая свое представление о том, что чат-боты отражают своих пользователей, Сейновски проводит литературное сравнение: зеркало Еиналеж в первой книге «Гарри Поттер». Зеркало Еиналеж отражает самые глубокие желания тех, кто смотрит в него, никогда не давая знаний или правды, отражая только то, что, по его мнению, хочет увидеть наблюдатель. По словам Сейновски, чат—боты действуют аналогично, они могут искажать правду, не отличая факты от вымысла — и все это для эффективного «отражения» манеры разговора пользователя.
Например, Сейновски спросил GPT-3: «Каков мировой рекорд по переходу через Ла-Манша?» и GPT-3 ответил: «Мировой рекорд по переходу через Ла-Манша составляет 18 часов и 33 минуты». Правда о том, что нельзя пересечь Ла-Манш пешком, была легко искажена GPT-3, чтобы отразить вопрос Сейновски. Согласованность ответа GPT-3 полностью зависит от согласованности полученного вопроса.
Внезапно для GPT-3 стало возможным ходить по воде, и все потому, что интервьюер использовал глагол «ходить», а не «плавать». Если бы вместо этого пользователь предварял вопрос о переходе через Ла-Манш, попросив GPT-3 отвечать «ерунда» на бессмысленные вопросы, GPT-3 распознал бы хождение по воде как «ерунду». Как согласованность вопроса, так и подготовка вопроса определяют ответ GPT-3.
Сейновски рассматривает искусственный интеллект как связующее звено между двумя взаимосвязанными революциями: 1) технологической, отмеченной развитием языковых моделей, и 2) нейробиологической, отмеченной BRAIN Initiative — программой Национального института здравоохранения, ускоряющей исследования в области неврологии и подчеркивающей уникальные подходы к пониманию мозга.
В настоящее время ученые исследуют параллели между системами больших компьютерных моделей и нейронами в человеческом мозге. Сейновски надеется, что специалисты по информатике и математики смогут использовать нейробиологию для обоснования своей работы, а нейробиологи смогут использовать информатику и математику для обоснования своей.