В рамках эксперимента участники оценивали решения, принятые людьми и машинами. Выяснилось, что испытуемые автоматически считывали косвенные признаки, такие как скорость генерации текста или кажущаяся простота задачи, и на их основе делали выводы о надежности информации.
Степень доверия пользователей ответам ИИ выше, чем реальная надежность этих ответов
Популярные чат-боты стали привычной частью нашей жизни, и люди все чаще обращаются к ним за советами. Однако новое исследование ученых из Университета Ватерлоо и Университетского колледжа Лондона показало, что пользователи склонны необоснованно завышать уровень достоверности ответов искусственного интеллекта. Даже когда компьютер и человек дают одинаковые реплики, системам ИИ приписывается большая надежность.
Сомнение ИИ. https://www.magnific.com/
Сомнение ИИ. Пока ученые ищут способы научить ИИ сомневаться, на практике уже существуют подходы для оценки надежности ответов нейросетей: система может проанализировать, сколько альтернативных вариантов ответа у нее было в процессе генерации. Если альтернатив много, ИИ «сомневается». Некоторые современные поисковые ИИ-сервисы начинают внедрять маркеры достоверности, подсвечивая сомнительные тезисы желтым цветом или добавляя текстовые предупреждения, что позволяет снизить риски.
«Взаимодействуя с другими людьми, мы постоянно о чем-то спрашиваем и получаем ответы», — отмечает первый автор научной работы Клара Коломбатто. — «Но есть важная разница между советами от людей и систем ИИ: когда люди дают ответы, они часто также передают, насколько они уверены в том, что говорят, и эта уверенность, в свою очередь, определяет, насколько мы доверяем этому ответу и полагаемся на него». Поскольку популярные языковые модели часто выдают текст без прямых указаний на степень своей уверенности, возникает опасный психологический эффект. Работа опубликована в журнале Communications Psychology.
Опасность слепой веры в алгоритмы
Обзор схемы эксперимента № 1.
Пользователи склонны проецировать свои завышенные ожидания на технологии, считая ИИ изначально более компетентным, точным и непогрешимым, чем человек. Из-за этого феномена люди подсознательно дорисовывают образ «абсолютно уверенного» помощника, даже если система ошибается, галлюцинирует или выдает случайный набор фактов. Подобное заблуждение может приводить к серьезным ошибкам, когда пользователи слепо следуют рекомендациям ИИ в финансовых, медицинских или бытовых вопросах, не подвергая полученные данные критическому анализу.
Разработчики ИИ сталкиваются с необходимостью создания новых интерфейсов, которые могли бы явно демонстрировать человеку уровень сомнения алгоритма. В человеческом общении для этого служат интонация, мимика и паузы, но текстовые роботы лишены таких инструментов.
Договорились.
Исследователи планируют найти оптимальные способы передачи метаинформации, чтобы научить программы открыто сообщать о своей неуверенности. Это поможет пользователям соблюдать разумную осторожность и не воспринимать каждое слово генеративных моделей как истину в последней инстанции.