Журнал Nature пишет о таком случае. В начале этого месяца Эрик ван Нимвеген и Паскаль Гробекер, специалисты по вычислительной биологии из Базельского университета (Швейцария), разместили на сервере bioRxiv препринт с описанием нового инструмента для исследования генов в отдельных клетках. Ван Нимвеген написал резюме статьи и разместил его в социальной сети.
Сервер научных статей bioRxiv поручил ИИ писать резюме. Пока не все хорошо
На сайте препринтов научных статей bioRxiv стартовала в пилотном режиме ИИ-модель, которая может писать резюме статьи. Причем это резюме пишется в трех вариантах: общедоступном, доступном для ученых разных областей и доступном только для специалистов в данной области. Получается пока не очень хорошо: ИИ делает довольно много ошибок.
Подходы, основанные на искусственном интеллекте, все чаще применяются для помощи исследователям в изучении научной литературы. Михаил Руденко/Getty
Научные статьи бывают крайне трудными для чтения. И не всегда ясно даже ученому надо ли статью читать. ИИ может объяснить популярно, о чем написана статья. Это было бы полезно, но получается это у ИИ пока не очень.
Он был удивлен и обеспокоен, когда прочитал резюме, подготовленное искусственным интеллектом (ИИ), аналогичным ChatGPT. Резюме было размещено рядом с препринтом статьи на сайте bioRxiv. По словам ван Нимвегена, первое предложение было тарабарщиной, и дальше все становилось только хуже: «Лучше бы у меня вообще не было резюме, чем этот мусор», — негодует он на сайте X.
ИИ пишет резюме
Когда-то люди писали гусиными перьями на пергаменте. И надо признать, у них неплохо получалось.
Резюме — это часть пилотного проекта bioRxiv, о котором было объявлено 8 ноября и который использует большие языковые моделями (БЯМ) для составления краткого описания новых препринтов на сайте. Сервис создает три коротких резюме, рассчитанных на разные уровни чтения — от общего до экспертного.
«Мы хотели повысить доступность статей. Научные статьи могут быть невероятно заумными», — говорит Ричард Север, соучредитель bioRxiv и помощник директора Cold Spring Harbor Laboratory Press в Нью-Йорке.
Пилотный проект bioRxiv является частью более широкой тенденции использования БЯМ для того, чтобы помочь исследователям — и широкой публике — ориентироваться в научной литературе. Сервер препринтов arXiv, ориентированный на физику, использует ИИ для создания аудио-резюме некоторых статей, а издатели и финансирующие организации начинают внедрять функции, позволяющие пользователям «разговаривать со статьей» с помощью чат-бота.
Резюме на сайте bioRxiv создаются на основе БЯМ компании ScienceCast. Они основаны на тексте всей статье, а не только на ее аннотации. Разработчики ожидают, что многие ученые будут использовать такие резюме для принятия решения о том, стоит ли читать полный текст статьи. В настоящее время рядом с аннотациями размещается уведомление о том, что они были написаны искусственным интеллектом и не утверждены авторами.
Перед запуском сервиса Ричард Север и его коллеги проанализировали несколько десятков резюме, подготовленных инструментом. По его словам, большинство из них были довольно хорошими, а некоторые даже лучше, чем аннотации, написанные учеными. Но были и такие, которые содержали явную неправду. «Мы знаем, что в них могут быть ошибки», — говорит Север.
По словам Севера, из трех препринтов, сгенерированных искусственным интеллектом, лучшим был тот, который был ориентирован на широкую аудиторию, а наименее точным — синопсис среднего уровня. По его словам, если внести несколько ключевых правок, то резюме будут точно отражать суть работы.
Ван Нимвеген говорит, что общее резюме его работы было нормальным, а его претензия была к резюме самого высокого уровня.
Если пилотный проект станет полноценной услугой, то компания bioRxiv может рассмотреть возможность регулярного привлечения авторов к вычитке и утверждению содержания, говорит Север.
Но пока, чтобы свести к минимуму последствия ошибок, пилотный проект не распространяется на medRxiv, родственный сервер препринтов медицинских исследований. Исследования MedRxiv, как правило, имеют клиническое значение, и ошибки могут стать руководством к действию для пациентов, которые часто читают научные статьи, но далеко не все в них понимают. По словам Севера, если ограничить пилотный проект исследованиями bioRxiv, то «последствия ошибки будут больше связаны с тем, что кто-то может почувствовать себя введенным в заблуждение или неправильно понять довольно сложное исследование в области клеточной биологии».
BioRxiv уже работает над своей следующей функцией, основанной на искусственном интеллекте. На сайте компании ScienceCast есть функция, позволяющая пользователям вести «беседу» с подмножеством препринтов, как это реализовано на сайте arXiv. Например, спрашивать о ключевых выводах статьи. Компания дорабатывает эту функцию для биологических данных и вскоре выпустит сопоставимую версию для bioRxiv.