Игра-рулетка «Human Or Not»: более миллиона людей прошли онлайн-тест Тьюринга

Выглядит он следующим образом: Человек общается с компьютером и другим человеком. На основании ответов он должен определить, кто компьютер, а кто человек. Если определить не получается, то значит, что машина прошла тест.

В новом исследовании, еще не прошедшем рецензирование и опубликованном на сайте arXiv, ученые создали онлайн-приложение Human or Not и опробовали его на более чем миллионе человек.

Human or Not – игра-рулетка, которая связывает участника с ИИ-ботом или другим участником. Главная цель – понять, с кем вы ведете беседу: с машиной или человеком.

Исследователи использовали смесь самых продвинутых больших языковых моделей (БЯМ) и продумали для каждого бота свою предысторию. К примеру, один из них (Адам) должен был убеждать людей, что он – это они из будущего. Такой подход, хоть и не сильно похож на типичное поведение человека, мог усложнить игру и сбить с толку участников.

В общей сложности, за месяц ученые получили более 10 миллионов ответов от 1,5 миллионов участников.

Обычно люди обращали внимание на опечатки и жаргонизмы, считая, что подобное присуще только человеку. Однако многие чат-боты также моделировали опечатки и жаргонизмы.

С другой стороны, по словам ученых, использование нецензурной лексики в подавляющем большинстве случаев исходило от людей.

В итоге только в 68% случае участники угадывали, кем является их собеседник. Если им приходилось общаться с чат-ботом, то они угадывали в 60% случаев, а если человек – в 73%.

Исследователи признают, что в их тесте были ограничения. К примеру, сам характер игры, возможно, влиял на стратегию общения участников.

Кстати, ранее исследователи обнаружили, что тесты CAPTCHA больше не работают, так как современные боты выполняют их быстрее и точнее людей. Подробности об этом можно узнать в нашем материале.