Рост количества фейковых ответов чат-ботов во многом связан с изменением принципов их работы и усилением внешнего давления. Об этом рассказал директор направления Data Fusion Лиги Цифровой Экономики Александр Кобозев в беседе с «ТехИнсайдером».
Почему нейросети стали ошибаться и отвечать неправильно? Объясняет эксперт

За последний год крупные языковые модели перешли от осторожной тактики «лучше промолчать» к стремлению отвечать на любой запрос.
«Проблема обострилась после внедрения автоматического веб-поиска без должной фильтрации ресурсов. Даже если в ответе есть ссылки на источники, это не всегда означает правдивость информации: нейросети могут брать информацию на ненадежных сайтах, не проверяя факты. Помимо этого, некоторые СМИ специально создают материалы, рассчитанные на алгоритмы поиска, чтобы именно их использовали в качестве источника информации», — отметил специалист.

На выдачу ложных ответов также влияет язык. По данным исследования NewsGuard, при обработке запросов на русском и китайском языках фиксируется особенно высокий процент ошибок — более 50 % всех случаев.
Примечательно, что методика тестирования сама по себе «давит на слабые места»: эксперты проверяют десять заранее отобранных ложных утверждений в трех вариантах формулировок (нейтральной, наводящей и «злоумышленной»), всего 30 запросов на модель. Такой подход позволяет выявить именно те ситуации, где ИИ особенно уязвим.
Сохранится ли тенденция и почему?
«В краткосрочной перспективе ситуация вряд ли изменится. Пока для разработчиков языковых моделей приоритетом остаются скорость и широта ответов, а не осторожность и достоверность, риск распространения фейков сохраняется. Этим активно пользуются оппоненты: как показывают исследования, в темах, где информационное поле заранее "засеяно" ложными материалами, до трети ответов ИИ воспроизводят мифы», — подчеркнул Кобозев.
В среднесрочной перспективе возможно улучшение, если снова перейти к более жестким критериям отбора информации и добавить систему верификации источников, уточнил эксперт.
Какие риски это несет?
Риски, связанные с распространением недостоверных данных языковыми моделями, затрагивают несколько направлений.
«Прежде всего, под удар попадают общественные и политические процессы. Когда вокруг значимых международных событий быстро распространяются фейки, это подрывает доверие к любой информации и повышает поляризацию в дискуссиях. Не менее значимы репутационные и коммерческие риски. В тестах исследователей встречались вопросы о компаниях и брендах: недостоверные ответы способны нанести ущерб как самим рынкам, так и доверию пользователей к сервисам ИИ», — поделился специалист.

По его словам, есть и аспект информационной безопасности. Технологии делают автоматизацию распространения фейков и фишинговых атак более доступной. В таких условиях языковые модели могут непреднамеренно воспроизводить или усиливать вводящую в заблуждение информацию.
Как это возможно исправить?
Практические шаги по снижению рисков возможны как на стороне разработчиков платформ, так и со стороны пользователей.
Кроме того, стоит вводить небольшую задержку и дополнительную проверку в первые часы после выхода горячих новостей. Именно в этот период публикуется особенно много непроверенной информации, и модели чаще воспроизводят ошибки, заметил эксперт.