Больше не врет: ученые Губкинского университета нашли способ избавить нейросеть от «галлюцинаций»

Когда в марте 2023 года американский адвокат Питер Шварц отправил в суд документ с тремя несуществующими судебными прецедентами, которые «нашел» для него ChatGPT, это стало звоночком для всего мира. ИИ уверенно назвал имена, даты и обстоятельства дел — и все это было полной выдумкой. Итог — штраф в 5,5 тыс. долларов, испорченная репутация и понимание, что ИИ может безбожно лгать. Причем нейросеть не обманывала осознанно: она просто не знала, что ошибается. Как показали исследования, ИИ начинает «галлюцинировать», когда сталкивается с недостатком данных.

Термин «галлюцинации» применительно к нейросетям закрепился в профессиональном сообществе не случайно. Большие языковые модели — это не базы знаний, а вероятностные машины. Они не хранят факты, а предсказывают следующее слово на основе статистических закономерностей, извлеченных из миллиардов текстов. Когда модели не хватает данных, она не говорит: «Я не знаю», а додумывает наиболее вероятный, с ее точки зрения, вариант. И звучит это, как правило, крайне убедительно.

По данным исследований OpenAI, даже самые продвинутые модели продолжают галлюцинировать. GPT-3, например, выдает 20-30% ошибок, GPT-4 — 10-15%, GPT-4 Turbo: 8-12%. Не такой уж серьезный прогресс в росте, согласитесь, ведь даже 1% ошибок может быть фатален, скажем, при постановке диагноза. Улучшения, конечно, есть, но недостаточно значительные. Но важно не это: сами ошибки становятся все более утонченными и сложными для обнаружения.

Хотите конкретные примеры? Пожалуйста! В канадском штате Онтарио были протестированы 20 систем для автоматической расшифровки разговоров врачей с пациентами. Результат шокировал.

Это еще что — пользователи обнаружили, что Google AI Overviews совершенно серьезно объясняет смысл выдуманных поговорок вроде «Нельзя дважды лизнуть барсука» или «Никогда не бросайте пуделя на свинью». Ради эксперимента нейросеть попросили рассказать о значении абсурдной фразы. Модель подошла к задаче со всей серьезностью и дала глубокомысленные трактовки, в том числе о библейском происхождении афоризма.

Группа российских исследователей из Губкинского университета поставила вопрос иначе: «А что если проблема не в модели, а в том, как мы с ней говорим?».

Ученые работали над «ИИ-пожарным» и нуждались в точности. Система должна была изменить парадигму применения ИИ в промышленной безопасности от «обнаружения» к «осмысленному анализу». До сих пор нейросети использовались только для бинарной классификации (огонь есть / огня нет) или фиксации инцидента. Исследователи, напротив, «учили» систему оценивать и описывать уровень происшествия и максимально быстро давать предложения по реакции на пожар.

«То есть модель не просто говорит "пожар", а отвечает на вопросы: "Какой это тип инцидента?", "Насколько это опасно?", "Что конкретно делать оператору?"», — объясняет Андрей Евсиков, участник проекта, аспирант Губкинского университета.

Нейросеть анализировала изображения с камер, чтобы точно идентифицировать уровень опасности. Важно было исключить «галлюцинации» в описании и ответах на запросы оператора. Исследователи предположили, что качество промпта может влиять на работу нейросети сильнее, чем сама архитектура модели, и поставили серию экспериментов.

Ученые разработали структуру ответа с четкими ограничениями. Их промт включал перечисление нейросетью признаков инцидента, основных источников опасности, ее уровень (низкий / средний / высокий / критический), предполагаемый тип той или иной ситуации, а также рекомендации оператору. Для борьбы с «галлюцинациями» в промпт включили требование «честности».

«Модели задали жесткую схему ответа, включающую требование объективности – опираться только на видимые признаки и не додумывать дополнительную информацию», — пояснил Андрей Евсиков. Таким образом, схема ответа исключила возможность предположений.

Ответ, выдаваемый ИИ, должен был быть кратким, объективным и основываться только на визуально наблюдаемых признаках. В случае, если данных недостаточно, исследователи просили нейросеть прямо указать это.

И что же? ИИ в самом деле перестал ошибаться! Ученые протестировали четыре современных архитектуры визуально-лингвистической нейросети на наборе изображений реальных возгораний: Qwen3-VL, InternVL 3.5, LLaVA-OneVision-2 и Kimi-VL.

Лидером оказалась Qwen3-VL. Она не просто правильно определяла тип инцидента, но и адекватно оценивала степень опасности, а главное — давала технически грамотные, конкретные рекомендации оператору.

«В результате разработанная система помогла сократить время реакции оператора на возгорание с пары минут до 10 секунд. Скорость приезда пожарной бригады напрямую влияет на успешную эвакуацию, сокращение числа жертв, минимизацию ущерба имуществу и локализацию огня в зданиях. Исследования прошлого года показали, что в случае обнаружения пожара за 10,8 секунд и быстрого его устранения риск для жизни людей сокращается на 75,6%, а объем материального ущерба — на 58%», — рассказывает Андрей Евсиков.

Только на примере этого «ИИ-пожарного» победа над «галлюцинациями» нейросети может помочь сберечь сотни миллионов рублей и обеспечить стабильные поставки топлива потребителям. Проект уже заинтересовал ряд предприятий.

Но главное, исследование открывает дорогу к созданию нового типа систем для промышленной безопасности. Перспективы системы не ограничиваются нефтегазовой отраслью. Как отмечают разработчики, нейросеть сможет работать в складских помещениях, на производствах, в аэро- и морских портах, вокзалах, торговых центрах — везде, где есть повышенные требования к противопожарной безопасности.

На базе разработки уже создается система промышленной аналитики, которая сможет отслеживать использование оборудования, ношение сотрудниками средств индивидуальной защиты и другие аспекты, которые невозможно запрограммировать традиционными методами.