Команда нейробиологов Калифорнийского университета в Дэвисе создала уникальный мозговой имплант, который позволяет человеку с боковым амиотрофическим склерозом не только говорить, но и выражать эмоции и даже петь. Работа опубликована в журнале Nature.
Мозговой имплантат позволил человеку не только выразительно говорить, но и петь
Команда нейробиологов Калифорнийского университета в Дэвисе создала уникальный мозговой имплант, который позволяет человеку с боковым амиотрофическим склерозом не только говорить, но и выражать эмоции и даже петь. Искусственный интеллект синтезирует речь в реальном времени, возвращая пациенту индивидуальный голос и интонации.
Моторная кора (оранжевый цвет, иллюстрация). Электроды, вживленные в эту область, помогли зарегистрировать связанную с речью активность мозга человека, который не мог говорить внятно. Kateryna Kon/Science Photo Library
В отличие от Neuralink, который в основном передает простые команды и базовую коммуникацию с помощью набора текста, новая система позволяет в реальном времени воспроизводить естественную речь с интонациями, акцентами и даже вокализацией. Она использует глубокие нейросети для декодирования сложных речевых сигналов, а не отдельных букв или слов, что делает коммуникацию более живой и эмоциональной. Neuralink пока не демонстрировал столь богатой передачи индивидуальных голосовых особенностей и эмоций.
Впервые в мире человек с тяжелым нарушением речи смог не только говорить, но и выражать эмоции и даже петь с помощью импланта, который напрямую переводит его мозговую активность в речь в реальном времени.
Этот интерфейс мозг-компьютер (BCI) использует искусственный интеллект для расшифровки электрических сигналов мозга, возникающих при попытке говорить. Устройство не просто озвучивает мысли пользователя — оно передает интонацию, акценты и даже позволяет напевать мелодии, что раньше было недоступно ни одной подобной технологии.
Главный герой исследования — 45-летний мужчина, утративший способность ясно говорить из-за бокового амиотрофического склероза. Он мог издавать звуки и шевелить губами, но его речь была медленной и трудной для понимания.
Свободная речь
Замкнутый синтез голоса на основе внутрикорковой нейронной активности у участника с БАС. a. Схема нейропротеза «мозг-голос». Нейронные характеристики, извлеченные из четырех имплантированных микроэлектродных массивов декодируются в реальном времени и используются для прямого синтеза голоса. b. Расположение массивов в левом полушарии. с. Проход сигнала
Через пять лет после появления первых симптомов мужчине имплантировали 256 кремниевых электродов в область мозга, отвечающую за движение. Команда ученых под руководством нейробиолога Майтри Уайрагкар из Калифорнийского университета в Дейвисе обучила глубокие нейросети распознавать мозговые сигналы каждые 10 миллисекунд. Их система декодирует именно те звуки, которые человек пытается произнести, а не отдельные слова или фонемы, что позволяет воссоздавать естественную, спонтанную, выразительную речь.
Особенность этой разработки — возможность передавать не только смысл, но и эмоциональную окраску речи. Синтетический голос был специально адаптирован под тембр самого участника исследования, используя записи его интервью, сделанные до болезни. Таким образом, человек вновь обрел возможность не только общаться, но и выражать себя полноценно, включая вопросы, акценты и даже напевы.
Майтри Уайрагкар говорит: «Мы не всегда используем слова, чтобы выразить то, что хотим. Есть междометия, есть другие выразительные вокализации, которых нет в словаре. Чтобы это стало возможным, мы выбрали полностью свободный звуковой подход».
Это исследование открывает новые возможности для людей, утративших речь, и может стать основой для будущих технологий, возвращающих голос миллионам пациентов по всему миру.