Анализируя изображения лиц с помощью методов, которые обычно используются для исследования далеких галактик, астрономы могут измерить, как глаза человека отражают свет. Так можно выявить явные признаки манипуляции изображениями.
Астрономы научили программистов искать дипфейки
Исследователи обращаются к методам из астрономии, чтобы помочь обнаружить компьютерные «поддельные» изображения, которые на первый взгляд могут выглядеть идентичными настоящим фотографиям.
Поддельные изображения и видео могут использоваться для распространения дезинформации. Stu Gray/Alamy
Дипфейки часто называют главной угрозой от распространения генерации изображений. Методы определения поддельных изображений все еще несовершенны, и новые подходы крайне важны.
«Это не панацея, потому что у нас есть ложные положительные и ложные отрицательные результаты», — говорит Кевин Пимблет, директор Центра передового опыта в области науки о данных, искусственного интеллекта и моделирования в Университете Халла, Великобритания. Исследование представлено на Национальном астрономическом собрании Королевского астрономического общества Великобритании. Пимблет говорит: «Но это исследование предоставляет еще один метод, которые можно применять, чтобы попытаться выяснить, является ли изображение реальным или поддельным».
Поддельные фотографии
Как формируется дипфейк
Достижения в области искусственного интеллекта (ИИ) все больше затрудняют определение разницы между подлинными изображениями, видео и аудио и теми, которые были созданы алгоритмами. Дипфейки заменяют черты человека или среды другими и могут создать впечатление, что люди говорят или делают то, чего на самом деле не делали. Власти предупреждают, что эта технология может быть использована в качестве оружия с распространением дезинформации, например, во время выборов.
Подлинные фотографии должны иметь «постоянную физику», объясняет Пимблет, «поэтому отражения, которые вы видите в левом глазном яблоке, должны быть очень похожи, хотя и не обязательно идентичны отражениям, видимым в правом глазном яблоке». Различия незначительны, поэтому для их обнаружения исследователи обратились к методам, разработанным для анализа света на астрономических снимках.
В своей работе, которая еще не опубликована, астрономы взяли реальные изображения из набора данных Flickr-Faces-HQ и создали поддельные лица с помощью генератора изображений. Затем соавтор работы Адеджумоке Оволаби проанализировал отражения источников света в глазах на изображениях, используя два астрономических измерения: систему CAS и индекс Джини.
Система CAS количественно определяет концентрацию, асимметрию и плавность распределения света объекта. На протяжении десятилетий эта техника позволяла астрономам характеризовать свет внегалактических звезд. Индекс Джини измеряет неравенство распределения света на изображениях галактик.
Серия четких и аннотированных изображений поддельных глаз, показывающих нарушение отражений в каждом глазу. Глаза на изображениях дипфейк (слева) имеют нарушения в паттернах отражений (справа)
Сравнивая отражения в глазных яблоках человека, Оволаби смог правильно предсказать, было ли изображение поддельным, примерно в 70% случаев. В конечном итоге исследователи обнаружили, что индекс Джини лучше, чем система CAS, предсказывал, было ли изображение изменено.
Брэнт Робертсон, астрофизик из Калифорнийского университета в Санта-Крузе, приветствует исследование. Но он предупреждает: «Если вы можете вычислить метрику, которая количественно определяет, насколько реалистичным может выглядеть дипфейк, вы также можете обучить модель ИИ производить еще более качественные подделки, оптимизируя эту метрику».