Ученые разрабатывают технологию, которая научит ИИ забывать опасные для человека данные
В новой области исследований ученые выделяют важную возможность снижения рисков ИИ — «машинное разобучение» (machine unlearning). Такие методы помогут модели ИИ, забывать данные, представляющие опасность для общества.
Проблема заключается в том, что обучение программ ИИ с нуля, при котором ИИ забудет опасные данные, — очень дорогостоящая задача. Современные модели, например, основанные на «больших языковых моделях» (такие как ChatGPT, Bard и т.д.), требуют огромных ресурсов для обучения — на это уходят недели и месяцы. На это тратятся десятков гигаватт-часов энергии для каждой обучающей программы. По некоторым оценкам, такого количества энергии достаточно для питания тысяч домашних хозяйств в течение одного года.
Машинное разобучение — это развивающаяся область исследований, позволяющая быстро, дешево и с меньшими затратами ресурсов удалять из глубоких нейросетей проблемные данные. Задача состоит в том, чтобы сделать это, сохранив высокую точность. Специалисты в области компьютерных наук из Уорикского университета в сотрудничестве с Google DeepMind находятся в авангарде этих исследований.
Искусство забывать
Профессор Питер Триантафиллоу из Уорикского университета, соавтор работы, посвященной методам «машинного разобучения», отметил: «Глубокие нейросети представляют собой чрезвычайно сложные структуры, состоящие из триллионов параметров. Мы далеко не всегда имеем четкое представление о том, как и почему они достигают своих целей. Учитывая сложность самих нейросетей и размер наборов обучающих данных, глубокие нейросети могут быть опасны для общества».
«Глубокие нейросети могут быть опасны, например, тем, что они обучаются на данных с предубеждениями. Эти данные могут отражать существующие предрассудки, стереотипы и ошибочные общественные представления, например, предубеждение, что врачи — мужчины, а медсестры — женщины, или даже расовые предрассудки. ИИ может пометить реальные данные как дипфейк, может обучаться на персональных данных или данных компаний, что фактически становится утечкой конфиденциальной информации». — говорит Питер Триантафиллоу.
В новой работе ученые предложили алгоритм «машинного разобучения», который позволяет исключать сомнительные данные без ущерба для общей производительности глубокой нейронной сети. Алгоритм заставляет ее забыть именно те данные, которые представляют опасность, без необходимости заново обучать ее с нуля. Пока это единственная работа, в которой дифференцированы метрики успеха для трех различных типов данных, которые необходимо забыть: предубеждения, ошибочные аннотации и вопросы конфиденциальности.
Работа в этом направлении очень важна.