Модель ИИ может стать основой умного слухового аппарата
Мы понимаем обращенные к нам слова даже при сильном шуме или иностранном акценте. Оказывается, в мозге есть специальные механизмы для распознавания коммуникативных сигнало
В работе ученых Питтсбургского университета описан алгоритм работы мозга при распознавании коммуникативных сигналов. Алгоритм показал, как социальные животные, включая мартышек или морских свинок, используют специальные нейронные сети для обработки звука, чтобы точно различать коммуникативные сигналы, например, призывы к спариванию, еде или сообщение об опасности.
Это исследование — важный шаг к пониманию тонкостей работы нейронов, лежащих в основе распознавания звуков. Результаты этой работы позволят в конечном итоге лечить расстройства, влияющие на распознавание речи и могут улучшить слуховые аппараты, сделав их не только усилителями звука, но интеллектуальными устройствами.
«Едва ли каждый человек, в какой-то момент своей жизни начинает терять слух. Это происходит либо в результате старения, либо в результате постоянного воздействия шума. Понимание биологии распознавания звуков и поиск путей ее улучшения очень важны», — говорит соавтор работы Питта Шриватсун Садагопан, — «Но процесс речевого общения увлекателен и сам по себе. Как наш мозг при взаимодействии с другим мозгом воспринимает идеи и передает их с помощью звуков, не что иное, как волшебство».
Голос и лицо
Люди и животные ежедневно слышат поразительное разнообразием звуков — от какофонии джунглей до гула в оживленном ресторане. Независимо от уровня шума окружающего нас мира, и люди и другие животные способны общаться и понимать друг друга, независимо от высоты голоса или акцента.
Например, когда мы слышим слово «привет», мы понимаем его значение независимо от того, с каким акцентом оно было произнесено, женщина это сказала или мужчина, находимся мы в тихой комнате или на оживленном перекрестке.
Команда предположила, что способ, которым человеческий мозг распознает и улавливает смысл коммуникативного сигнала похож на то, как мозг отличает лица от всех других объектов. Лица очень разнообразны, но имеют некоторые общие характеристики.
Вместо того чтобы сопоставлять каждое лицо, с которым мы сталкиваемся, с каким-то идеальным «шаблонным» лицом, наш мозг отмечает полезные особенности, — глаза, нос и рот, их взаимное расположение, и создает мысленную карту характеристик, определяющих лицо.
Морские свинки и люди
В серии исследований команда показала, что звуки общения тоже состоят из характеристик, подобных характеристикам лиц. Сначала исследователи построили модель машинного обучения для распознавания различных звуков, издаваемых социальными животными.
Чтобы проверить, соответствуют ли реакции мозга этой модели, они записали активность мозга морских свинок, слушающих звуки общения своих сородичей. Нейроны в областях мозга, отвечающих за обработку звуков, «загорались», когда животные слышали шум, имеющий характеристики коммуникативных сигналов.
Затем ученые решили проверить эффективность модели на реальном поведении животных. Морских свинок поместили в вольер и подвергли воздействию различных коммуникативных звуков — писка и хрюканья. Затем исследователи обучили морских свинок ходить в определенный угол вольера и получать вкусные фрукты в зависимости от того, какие звуки воспроизводилась.
На следующем шаге ученые усложнили задачу: чтобы имитировать то, как люди распознают значение слов, произносимых разными голосами. Исследователи пропускали звуковые сигналы морских свинок через программное обеспечение, изменяющее звук, — ускоряли или замедляли темп, повышали или понижали высоту, добавляли шум и эхо.
Животные прекрасно справились и с этой задачей. Более того, модель машинного обучения прекрасно описала их поведение (и лежащую в основе активацию нейронов мозга, обрабатывающих звук).
В качестве следующего шага исследователи собираются перенести модель с животных на человеческую речь.
«С инженерной точки зрения, существуют гораздо более точные модели распознавания речи. Уникальность нашей модели заключается в том, что мы нашли тесное соответствие между распознаванием коммуникативного сигнала и активностью мозга. В будущем эти знания можно использовать для помощи людям с частичной потерей слуха или для разработки слуховых аппаратов», — говорит ведущий автор исследования Сатьябрата Парида.