Теперь наушники могут распознавать ваши эмоции. Попробуете?

Новая разработка американских инженеров позволяет распознавать мимику пользователя наушников: в этом помогает эхолокация и — внимание — щеки человека. Но зачем могут понадобиться такие «наушники будущего»?
Теперь наушники могут распознавать ваши эмоции. Попробуете?
Ke Li / Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2022

Возможно, в скором будущем наушники станут атавизмом

Ученые-инженеры из Корнеллского университета, США, под руководством Чэня Чжана, доцент кафедры информатики, и Франсуа Гимбретьера, профессор информатики, разработали наушники EarIO. Их система помогает передавать мимику человеческого лица на смартфон в режиме реального времени.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
Ke Li et al. / Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2022

EarIO работает подобно кораблю, который посылает импульсы эхолокатора/гидролокатора (sonar). Динамик, расположенный с каждой стороны наушника, передает акустические сигналы по сторонам лица, а микрофон улавливает эхо.

Ke Li et al. / Proceedings of the ACM on Interactive, Mobile, W
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Наушники-эхолокаторы

Когда пользователи улыбаются, разговаривают или поднимают брови, кожа имеет тенденцию двигаться и растягиваться, изменяя «эхо-профили». Алгоритм глубокого обучения, предложенный учеными, использует искусственный интеллект для постоянной обработки данных, а затем переводит меняющиеся эхо в полные выражения лица.

«Благодаря силе искусственного интеллекта алгоритм находит сложные связи между движением мышц и выражением лица, которые человеческий глаз не может определить. Мы можем использовать это, чтобы вывести сложную информацию», — объясняют создатели. Подобные технологии уже частично используются, например, в анимации.

Устройства, которые могут отслеживать движения лица с помощью камеры, «большие, тяжелые и энергоемкие, это проблема. И важно, что они собирают много личной информации», — заявил Чжан. Гимбретьер добавил - «Цель нашего проекта — убедиться, что вся информация всегда находится под вашим контролем и вычисляется локально».