У ИИ бывают «галлюцинации», но не такие, как у человека
Галлюцинации ИИ в чем-то воспроизводят галлюцинации человека, и научившись «лечить» галлюцинации на модели, мы и человеку поможем лучше понимать реальность.
Запуск все более мощных больших языковых моделей (LLM), таких как GPT-3.5 и 4.0 вызвал большой интерес за последний год. Сначала люди пришли буквально в восторг от возможностей чат-ботов, но доверие к этим моделям ослабло, когда пользователи обнаружили, что модели ошибаются, что они, как и мы, не совершенны.
Явление, когда LLM не только выдает неверную информацию, но и упорствует, доказывая, что все так и есть, получило название «галлюцинации ИИ». В настоящее время ведется интенсивная исследовательская работа по минимизации этого эффекта. Сегодня эта задача не решена. И ученые задумались о связи между галлюцинациями у ИИ и у человека. Возможно, ИИ в чем-то повторяет наш собственный опыт.
Понимая такую связь можно попытаться создавать более продвинутые системы ИИ, которые в конечном итоге помогут уменьшить количество человеческих ошибок.
Как галлюцинируют люди
Люди придумывают информацию. Иногда это делается намеренно, а иногда — это ошибка памяти. Такие ошибки часто является результатом своего рода «эвристики», основанной на нашем опыте. Мы заменяем длинное рассуждение ярлыком, который рождается при сжатии ошибочных данных.
Часто эти ярлыки рождаются из необходимости. В любой момент времени мы можем обработать лишь ограниченное количество информации, поступающей на наши органы чувств, и можем запомнить лишь малую часть всей информации, с которой мы сталкиваемся.
Поэтому наш мозг должен использовать заученные ассоциации, чтобы заполнить пробелы и быстро ответить на любой вопрос или затруднение, возникшее перед нами. Другими словами, наш мозг угадывает правильный ответ на основе ограниченных знаний. Это явление называется «конфабуляция» (confabulation — или попросту «болтовня») и является примером человеческого предубеждения.
Наши предубеждения могут привести к неправильным суждениям. Существует, например, «предвзятость автоматики»: мы склонны отдавать предпочтение информации, полученной от автоматизированных систем (таких как ChatGPT), перед информацией, созданной человеком. Мы почему-то считаем, что ИИ не может занять чью-то сторону в споре, что он совершенно объективен. Это предубеждение может привести к тому, что мы не заметим ошибки (особенно, если мнение ИИ совпадает с нашими собственными выводами) и даже будем действовать на основании ложной информации.
Еще один тип такой эвристики - эффект гало, когда наше первоначальное впечатление настолько сильно влияет на наше представление о явлении, что дальнейшие взаимодействия с ним ничего не могут изменить. Есть и предвзятость беглости - мы всегда отдаем предпочтение информации, представленной в легко читаемой и воспринимаемой форме.
Человеческое мышление часто искажается такими предубеждениями. Причем эти «галлюцинаторные» тенденции в основном происходят вне нашего сознания. Мозг «автоматически» экономит свои ресурсы. И мы такие ошибки не контролируем.
Как галлюцинирует ИИ
Галлюцинации LLM выглядят иначе. LLM не экономит ограниченные умственные ресурсы, чтобы эффективно осмыслить мир. «Галлюцинация» в этом контексте — это ошибочные попытки предсказания, например, следующего слова или предложения в тексте. Причем «предвзятость беглости» здесь тоже срабатывает. ИИ старается писать как можно проще.
Между тем, как галлюцинируют люди и LLM, есть некоторое сходство, поскольку эти системы тоже «галлюцинируют», чтобы «заполнить пробелы».
LLM генерируют ответ, предсказывая, какое слово, скорее всего, появится следующим в последовательности. Система основывается на опыте и ассоциациях, усвоенных в процессе обучения.
Как и люди, LLM пытаются предсказать наиболее вероятный ответ. В отличие от людей, они делают это, не понимая, что говорят. Поэтому они могут выдавать полную бессмыслицу. Но случай такой бессмыслицы, как раз самый легкий и безопасный, человек ее быстро опознает. А вот правдоподобные, но ошибочные суждения, человек легко принимает за истинные. И можно привести много примеров таких ошибок. Мы писали о случае, когда из-за «галлюцинации» чат-бота нью-йоркский юрист попал в большие неприятности, предоставив судье доказательства, сгенерированное ИИ.
Главная причина галлюцинаций LLM - это обучение на некорректных или недостаточных данных, и искажения в самом процессе глубокого обучения.
Если работать вместе
Если и люди, и LLM подвержены галлюцинациям (хотя и по разным причинам), что легче исправить?
Исправить данные обучения и процессы, лежащие в основе LLM, кажется проще, чем исправить себя. Но при этом мы удивительным образом не учитываем, что наши собственные ошибки влияют на системы ИИ (и это пример предвзятости, известной как «фундаментальная ошибка атрибуции», — мы склонны прощать себе многое, чего другим, в том числе и LLM, простить не готовы).
На самом деле наши недостатки и недостатки наших технологий неразрывно связаны, поэтому исправление одного поможет исправить другое. Вот несколько способов, как мы можем это сделать.
Ответственное управление данными. Предвзятость в ИИ часто возникает из-за предвзятости или ограниченности данных обучения. Способы решения этой проблемы включают обеспечение разнообразия и репрезентативности учебных данных, создание алгоритмов, учитывающих предвзятость, и применение таких методов, как балансировка данных, для устранения предубеждений или дискриминации.
Прозрачный и объяснимый ИИ (Explainable AI). Однако, несмотря на вышеуказанные меры, предубеждения в ИИ могут оставаться, и их трудно обнаружить. Изучив, как предубеждения попадают в систему и распространяются в ней, мы сможем лучше объяснить наличие предубеждений в результатах. Это основа «объяснимого ИИ», цель которого — сделать процессы принятия решений системами ИИ более прозрачными.
Поставить интересы общества во главу угла. Распознавание, управление и извлечение уроков из предубеждений ИИ требует ответственности человека и интеграции человеческих ценностей в системы ИИ. Достижение этого означает обеспечение того, чтобы заинтересованные стороны представляли людей с различным происхождением, культурой и взглядами.
Совместными усилиями мы сможем создать более умные системы ИИ, которые помогут держать под контролем все наши галлюцинации.
Например, ИИ используется в здравоохранении для анализа человеческих решений. Эти системы машинного обучения обнаруживают несоответствия в данных человека и предоставляют подсказки, которые обращают на эти несоответствия внимание врача. Таким образом, диагностические решения могут быть улучшены при сохранении ответственности человека.
На основе материала The Conversation.