Экспериментальная установка, известная как C-Face, была разработана командой Корнельского университета под руководством профессора Ченга Чжана. Он включает в себя две миниатюрные RGB-камеры, подключенные к компьютеру, которые расположены чуть ниже ушей объекта в наушниках сторонних производителей.
Новая система отслеживает выражение лица даже в маске
Сейчас, когда люди носят маски почти постоянно, распознать выражение лица собеседника порой бывает непросто. В этом нам поможет новая система, использующая камеры, установленные на наушниках.
Новый алгоритм научился распознавать выражение лица, закрытого маской, по ряду косвенных признаков
Анализируя изображения изменяющихся контуров щек человека (которые камеры снимают сзади), система может определить текущее положение 42 ключевых точек лица. Эти данные, в свою очередь, используются для определения текущей формы рта, глаз и бровей – их комбинация и формирует общее выражение. Его-то система в итоге и показывает, отображая один из восьми соответствующих смайликов на экране компьютера.
В тестах, проведенных на девяти добровольцах, новая технология использовалась вместе с уже существующей современной установкой, которая отслеживает положение лицевых ориентиров. Последний делает это с помощью фронтальных камер, которые фиксируют изображение всего лица без маски.
Продолжение ниже
Видео
Продолжение
По сравнению с этой системой, C-Face имеет погрешность менее 0,8 мм. Кроме того, смайлы, которые он отображал, отражали реальное выражение лица человека с точностью более 88 процентов. Эта цифра должна увеличиваться по мере дальнейшего развития системы.
В будущем C-Face может также использоваться для таких приложений, как бесшумное управление компьютерами без помощи рук, когда определенные выражения служат для выполнения определенных команд.
Загружаем