Исследователи утверждают, что разработали простую математическую формулу, которая позволяет предсказывать, когда чат-боты на основе искусственного интеллекта, подобные ChatGPT, могут внезапно перейти от полезных ответов к потенциально опасным.
Исследователи нашли способ обнаруживать опасные изменения в поведении ИИ
Новая математическая формула отслеживает внутренний «компас» искусственного интеллекта, чтобы выявлять нежелательные ответы еще до их появления.
Unsplash
Искусственный интеллект точно нужно контролировать!
В исследовании, опубликованном 8 октября в журнале Patterns, профессор физики Нил Джонсон и аспирант Фрэнк Инцзе Хуо из Университета Джорджа Вашингтона показали, что порядок, в котором чат-боту задают определенные вопросы, может существенно менять его ответы. Это способно привести к своеобразным «точкам перелома», после которых система начинает выдавать вредные рекомендации. При этом, по мнению ученых, разработанная ими формула позволяет предсказывать наступление таких моментов.
Как это работает
Например, Джонсон и Хуо задавали базовой модели GPT-2 от OpenAI вопросы о вакцинах, причинении вреда другим людям и самоповреждении. Когда вопрос о том, вредны ли вакцины, задавали первым, ответы чат-бота на него и последующие вопросы оставались приемлемыми. Однако если тот же вопрос появлялся в конце последовательности, последующие ответы становились тревожными.
Продолжение ниже
Видео
Продолжение
На основе этих наблюдений исследователи разработали математическую формулу, которая позволяет оценивать условия, при которых ИИ достигает точки перелома между желательными и нежелательными ответами. По словам Джонсона, ученые встроили формулу в экспериментальные модели с открытым исходным кодом и показали, что она может работать как система раннего предупреждения.
Вэй Син, преподаватель в области искусственного интеллекта из Шеффилдского университета в Великобритании, не участвовавший в исследовании, согласился с тем, что опасения по поводу неконтролируемых моделей, работающих на устройствах без подключения к интернету, обоснованны. Однако он призвал не спешить с внедрением предложенного подхода в качестве практического инструмента защиты.
По мнению эксперта, авторы свели сложную систему к слишком простому компоненту, пытаясь объяснить поведение целого механизма на основании лишь небольшой его части.
В частности, упрощенная модель не учитывает обучение систем безопасности, которое служит основной защитой современных ИИ. Кроме того, формулу проверяли только на старых и относительно простых моделях — GPT-2, Pythia от EleutherAI и OPT от Meta, — а не на современных ИИ-ассистентах, которыми пользуются люди. По словам Сина, результаты также не предоставили достаточно убедительных доказательств в поддержку выводов авторов.
В ответ Джонсон отметил, что использованные в исследовании модели с открытым исходным кодом имеют те же базовые механизмы работы, что и более передовые системы. Кроме того, ученые тестировали достаточно крупные модели, содержащие миллиарды параметров.
Чтобы определить, насколько перспективен предложенный метод раннего предупреждения, необходимо провести дополнительные испытания на современных моделях. Тем не менее исследование Джонсона и Хуо привлекло внимание к важной проблеме: искусственный интеллект может неожиданно переходить к нежелательному поведению, причем для этого иногда достаточно изменить порядок задаваемых ему вопросов.
Загружаем