Исследователи разработали систему на базе искусственного интеллекта, способную возвращать людям утраченный голос. В испытаниях участвовал сорокапятилетний мужчина, потерявший речь из-за бокового амиотрофического склероза. В речевые зоны коры его мозга имплантировали 256 микроэлектродов, что позволило фиксировать паттерны нейронной активности при попытке произнести любую из 39 фонем английского языка.
Нейробиологи с помощью ИИ и 256 электродов вернули голос парализованному пациенту
Потеря способности говорить из-за неврологических повреждений, таких как боковой амиотрофический склероз или инсульт, становится настоящей трагедией. Но объединение нейробиологии и искусственного интеллекта открыло новые пути. Ученые создали речевой нейропротез, считывающий активность мозга и преобразующий ее в слова, что позволило полностью парализованному человеку снова свободно общаться с семьей и даже работать.
Мозг-компьютер. Neuroscience News
Технологии интерфейсов мозг-компьютер (BCI) развиваются уже более двадцати лет. Изначально они использовали базовые алгоритмы, предполагающие, что по активности нейронов можно понять только направление движения. Этого было достаточно для управления курсором или роботизированной рукой, но для сложной механики речи потребовались глубокое машинное обучение и мощные языковые модели, учитывающие контекст.
Нейропротез для восстановления речи. Когда участник пытался говорить, нейронная активность измерялась с помощью четырех массивов микроэлектродов, размещенных в областях коры головного мозга, связанных с речевым производством. Исходная модель искусственного интеллекта прогнозировала вероятность каждой потенциальной фонемы на каждом временном шаге. Затем пара языковых моделей преобразовывала эти последовательности вероятностей фонем в наиболее вероятную последовательность слов. Компьютер зачитывал готовое предложение вслух или отправлял его в виде текста на персональный компьютер участника.
Алгоритмы глубокого обучения анализировали сигналы, определяя нужный звук, а языковые модели объединяли фонемы в слова. Уже в первый день система достигла точности в 99,6% при словаре из 50 слов. На второй день запас расширили до 125 тысяч слов. Текст мгновенно выводился на экран и озвучивался программой, воссоздавшей прежний голос мужчины на основе старых аудиозаписей. Тогда же он смог впервые поговорить со своей четырехлетней дочерью, которая не помнила его здоровым.
Продолжение ниже
Видео
Продолжение
Как пишут соавторы исследования: «Наш речевой нейропротез предоставляет способ коммуникации, который меняет жизнь, но ему не хватает полного диапазона человеческой выразительности, который обеспечивают наши голоса».
Переход к цифровому голосовому тракту
Ученые количественно оценили точность системы, измерив, какой процент выведенных слов был неверным (чем ниже, тем лучше), когда участник пытался произнести предложенные предложения. Производительность улучшалась по мере накопления большего объема обучающих данных и внедрения усовершенствований в алгоритмы. Точность декодирования оставалась стабильно высокой в течение многих месяцев.
За два года использования пациент произнес более двух миллионов слов, общаясь с семьей. Он смог вернуться к работе. Благодаря новым данным алгоритмы непрерывно обучались. Но обычный вывод текста лишал речь естественных интонаций.
Следующей целью стало создание интерфейса, работающего как цифровой голосовой тракт. Изучив, как интонация кодируется в мозге, исследователи применили передовую систему для мгновенной расшифровки фонетики и эмоций. Задержка от нейронного импульса до звука составила всего 30 миллисекунд. Пациент смог слышать себя в реальном времени и менять интонацию, чтобы задавать вопросы или выделять слова. Ему даже удалось спеть простую мелодию.
Искусственный интеллект останется главной движущей силой этого прогресса. В будущем языковые модели, возможно, помогут декодировать не слова, а смыслы, задуманные пациентами с глубокими повреждениями мозга.
Загружаем