Нейросеть делает 3D-маску по единственной фотографии

Исследователи и программисты из университета Южной Каролины научили нейросеть по одной фотографии создавать точную 3D-модель лица человека. Ранее для этого требовалось множество снимков, сделанных в студии со специально выставленным светом, а сейчас достаточно одной фотографии – и даже не обязательно анфас.

На самом деле по фотографии программа создает только самый грубый набросок будущей 3D-картинки: двумерную лица, которую разработчики назвали альбедо. Затем система анализирует изображение и распознает отдельные части лица. Текстуры видимой на фотографии система также переносятся с видимой части лица на фотографии. А то, что на снимок не попало, система реконструирует, сравнивая имеющиеся данные с тысячами снимков лиц в базе данных и выбирая, фрагмент за фрагментом, наиболее подходящие. В результате получается 3D-изображение, в точности воспроизводящее самые мелкие детали рельефа кожи модели.

При помощи своей системы кибернетики из Южной Каролины по одной фотографии создали 3D-изображения Мохаммеда Али, Мадонны и Дональда Трампа. Кроме того, они обработали десятки изображений своих знакомых и друзей.

Если изображение, которое загружают в систему, слишком плохого качества, система «спасает» сама себя от добавления в изображение лишних деталей: работа этой системы видна, например, на изображении, сделанном по фото лидера Северной Кореи Ким Чен Ына.

Создатели рассчитывают, что их детище пригодится для создания собственных трехмерных аватаров и для реконструкции облика исторических персонажей.

Результаты работы выложены на Arxive.org.