Астрономы научили программистов искать дипфейки

Исследователи обращаются к методам из астрономии, чтобы помочь обнаружить компьютерные «поддельные» изображения, которые на первый взгляд могут выглядеть идентичными настоящим фотографиям.
Владимир Губайловский
Владимир Губайловский
Астрономы научили программистов искать дипфейки
Поддельные изображения и видео могут использоваться для распространения дезинформации. Stu Gray/Alamy
Дипфейки часто называют главной угрозой от распространения генерации изображений. Методы определения поддельных изображений все еще несовершенны, и новые подходы крайне важны.

Анализируя изображения лиц с помощью методов, которые обычно используются для исследования далеких галактик, астрономы могут измерить, как глаза человека отражают свет. Так можно выявить явные признаки манипуляции изображениями.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

«Это не панацея, потому что у нас есть ложные положительные и ложные отрицательные результаты», — говорит Кевин Пимблет, директор Центра передового опыта в области науки о данных, искусственного интеллекта и моделирования в Университете Халла, Великобритания. Исследование представлено на Национальном астрономическом собрании Королевского астрономического общества Великобритании. Пимблет говорит: «Но это исследование предоставляет еще один метод, которые можно применять, чтобы попытаться выяснить, является ли изображение реальным или поддельным».

Поддельные фотографии

Как формируется дипфейк
Как формируется дипфейк
Соцсети
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Достижения в области искусственного интеллекта (ИИ) все больше затрудняют определение разницы между подлинными изображениями, видео и аудио и теми, которые были созданы алгоритмами. Дипфейки заменяют черты человека или среды другими и могут создать впечатление, что люди говорят или делают то, чего на самом деле не делали. Власти предупреждают, что эта технология может быть использована в качестве оружия с распространением дезинформации, например, во время выборов.

Подлинные фотографии должны иметь «постоянную физику», объясняет Пимблет, «поэтому отражения, которые вы видите в левом глазном яблоке, должны быть очень похожи, хотя и не обязательно идентичны отражениям, видимым в правом глазном яблоке». Различия незначительны, поэтому для их обнаружения исследователи обратились к методам, разработанным для анализа света на астрономических снимках.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

В своей работе, которая еще не опубликована, астрономы взяли реальные изображения из набора данных Flickr-Faces-HQ и создали поддельные лица с помощью генератора изображений. Затем соавтор работы Адеджумоке Оволаби проанализировал отражения источников света в глазах на изображениях, используя два астрономических измерения: систему CAS и индекс Джини.

Система CAS количественно определяет концентрацию, асимметрию и плавность распределения света объекта. На протяжении десятилетий эта техника позволяла астрономам характеризовать свет внегалактических звезд. Индекс Джини измеряет неравенство распределения света на изображениях галактик.

Серия четких и аннотированных изображений поддельных глаз, показывающих нарушение отражений в каждом глазу. Глаза на изображениях дипфейк (слева) имеют нарушения в паттернах отражений (справа)
Серия четких и аннотированных изображений поддельных глаз, показывающих нарушение отражений в каждом глазу. Глаза на изображениях дипфейк (слева) имеют нарушения в паттернах отражений (справа)
Adejumoke Owolabi (CC BY 4.0)
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Сравнивая отражения в глазных яблоках человека, Оволаби смог правильно предсказать, было ли изображение поддельным, примерно в 70% случаев. В конечном итоге исследователи обнаружили, что индекс Джини лучше, чем система CAS, предсказывал, было ли изображение изменено.

Брэнт Робертсон, астрофизик из Калифорнийского университета в Санта-Крузе, приветствует исследование. Но он предупреждает: «Если вы можете вычислить метрику, которая количественно определяет, насколько реалистичным может выглядеть дипфейк, вы также можете обучить модель ИИ производить еще более качественные подделки, оптимизируя эту метрику».