В Шотландии придумали слуховой аппарат, читающий по губам сквозь маску

Новая работа ученых показывает, что слуховые аппараты в будущем смогут читать по губам, даже если люди носят медицинские маски. А поможет в этом — Wi-Fi.
В Шотландии придумали слуховой аппарат, читающий по губам сквозь маску
unsplash.com

По статистике, среди взрослого населения каждый шестой человек в мире имеет сниженный слух. А вы бы стали носить слуховой аппарат? Напишие в комментариях!

Ученые-инженеры из Университета Глазго разработали слуховой аппарат, способный считывать слова по губам человека, даже если он носит, к примеру, медицинскую маску. Технология впервые сочетает радиочастотное зондирование с искусственным интеллектом, наряду с традиционными технологиями слуховых аппаратов для определения движений губ.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
University of Glasgow

Технологии будущего

Новые «умные» слуховые аппараты будут сочетать обычное усиление звука со вторым устройством для сбора дополнительных данных, в отличие от предыдущих попыток использования камер для чтения по губам, которые вызывали проблемы с конфиденциальностью и не работали с масками.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Разработка сохраняет конфиденциальность, собирая только радиочастотные данные без видеозаписи. Чтобы разработать систему, исследователи попросили добровольцев повторить пять гласных звуков (А, Е, И, О и У) сначала без, а затем в маске. Специальный радарный сенсор и Wi-Fi-датчик сканировали лица с помощью радиочастотных сигналов. Исследователи также сканировали лица, пока губы оставались неподвижными.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
unsplash.com

Чтение по губам

Система оказалась способной правильно читать по губам добровольцев большую часть времени. Алгоритмы обучения также правильно интерпретировали данные Wi-Fi в 95% случаев для незамаскированных губ и в 80% для замаскированных. При этом система правильно интерпретировала данные радара до 91% времени без маски и 83% времени с маской.

«Учитывая повсеместное распространение и доступность технологий Wi-Fi, результаты весьма обнадеживают, это говорит о том, что метод имеет ценность и в качестве отдельной технологии, так и в качестве компонента будущих мультимодальных слуховых аппаратов», — говорит доктор Каммер Аббаси из Инженерной школы имени Джеймса Ватта Университета Глазго.