Как сообщает Nature, исследователи загрузили два фейковых научных исследования (позже удаленных) на сервер препринтов, чтобы проверить, смогут ли крупные языковые модели поверить в существование этой болезни.
Ученые обманули ИИ фейковой болезнью и он поверил
В 2024 году команда под руководством медицинского исследователя Гетеборгского университета Альмиры Османович Тунстрем придумала несуществующее заболевание под названием «биксонимания».
Unsplash
По их версии, это вымышленное кожное заболевание якобы возникало из-за длительного просмотра экранов и чрезмерного трения глаз...
ИИ поверил слишком быстро
Результат не заставил себя ждать. Уже через несколько недель после публикации поддельных работ продвинутые ИИ-модели, включая Google Gemini и ChatGPT, начали упоминать «биксониманию» как реальное заболевание.
Что это говорит о науке и ИИ
Этот эксперимент показал, насколько сильно искусственный интеллект уже влияет на формирование знаний.
Так называемый «AI-контент» постепенно проникает во все этапы научной публикации. Ранее исследователи уже отмечали, что значительная часть научных статей, индексируемых ежегодно, может в той или иной степени опираться на ИИ — что вызывает серьезные вопросы:
- о достоверности таких работ;
- о снижении научной строгости;
- о подрыве доверия к исследованиям.
ИИ-чатботы продолжают иногда давать потенциально опасные медицинские советы, и этот случай — яркий пример. При этом поддельные статьи содержали явные «красные флаги». В них встречались странные отсылки к Star Trek, The Simpsons или The Lord of the Rings.
Любой внимательный читатель мог бы сразу заподозрить подвох. Тем не менее, такие системы, как Microsoft Bing Copilot, Google Gemini и поисковик Perplexity AI, все равно «поверили» в существование болезни.
Интересно, что ChatGPT сначала признал, что «биксонимания» — вероятно вымышленное или псевдонаучное понятие. Однако уже через несколько дней он изменил ответ и начал утверждать, что заболевание реально существует.
Представитель OpenAI в комментарии заявил, что технологии стали «лучше справляться с предоставлением безопасной и точной медицинской информации».
Теперь, когда обман раскрыт, научным журналам предстоит исправить последствия. После обращения журналистов к одному из изданий, оно опубликовало отзыв статьи, признав «наличие трех нерелевантных ссылок, включая ссылку на вымышленное заболевание».
Альмира Османович Тунстрем отмечает: «Тревожно, когда такие серьезные утверждения проходят через научную литературу или рецензирование без проверки. Вероятно, есть и другие проблемы, которые еще не выявлены».