ИИ может расшифровать, что слышит и видит мозг, и превратить в поток текста
Это еще не чтение мыслей, но серьезный шаг в этом направлении
Семантический декодер, разработанный учеными из Техасского университета в Остине, может преобразовывать активность мозга в непрерывный поток текста. Ученые считают, что такая система помочь людям, которые находятся в сознании, но не могут говорить физически, например, тем, кто пострадал от инсульта.
Работа опирается на модель (трансформенная технология), подобную той, что используются в системах ChatGPT компании Open AI и Bard компании Google.
В отличие от других систем декодирования, эта система не требует установки имплантатов в мозг, то есть она является неинвазивной. Участникам также не нужно использовать слова только из заранее утвержденного списка. Активность мозга измеряется с помощью фМРТ-сканера. Сначала семантический декодер обучается, пока человек прослушивает в сканере многочасовые подкасты, а сканер снимает показания мозга. После такого обучения, когда участник прослушивает новую историю или смотрит видео, машина создает текст исключительно на основе активности мозга.
Результат не является расшифровкой слово в слово. Вместо этого исследователи разработали декодер таким образом, чтобы он улавливал суть сказанного или продуманного. Пока ему это удается не всегда. Но примерно в половине случаев, отслеживая активность мозга участника, машина выдает текст близко (а иногда и точно) соответствующий смыслу исходных слов.
Например, в ходе экспериментов участник, слышал от говорящего: «У меня еще нет водительских прав», а декодер переводил мысли несколько иначе, но близко по смыслу: «Она еще не начала учиться водить». Реплика: «Я не знала, что делать: кричать, плакать или убегать. Вместо этого я сказала: "Оставь меня в покое!"" была расшифрована так: "Начала кричать и плакать, а потом просто сказала: "Я же сказала тебе оставь меня в покое"".
Декодирование хорошо работает только с теми испытуемыми, которые добровольно участвовали в обучении декодера. Результаты, полученные на случайных людях, на которых дешифратор не был обучен, были неразборчивы. А если участники, на которых дешифратор был обучен, оказывали сопротивление, например, намеренно отвлекались на другие мысли, а не вслушивались в слова, которые звучали в этот момент, результаты тоже были нечеткими. Все получалось хорошо только при максимальной кооперации человека и машины.
Видео-мозг-текст
Исследователи попросили испытуемых посмотреть четыре коротких беззвучных видеоролика, находясь в сканере. Семантический декодер смог использовать их мозговую активность для точного описания событий, которые наблюдали испытуемые.
В настоящее время эта система не может быть использована вне лаборатории из-за ее зависимости от аппарата фМРТ. Но исследователи считают, что эта работа может быть перенесена на другие, более портативные системы визуализации мозга, такие как функциональная спектроскопия в ближней инфракрасной области (fNIRS).
«fNIRS измеряет, где в мозге сильнее кровоток в разные моменты времени. Оказалось, это точно такой же сигнал, как тот, что измеряет фМРТ», — говорит соавтор работы Джерри Хут. — «Таким образом, наш подход должен работать и с fNIRS, но разрешение при использовании fNIRS все-таки будет ниже».
Чего мы боимся
Может ли эта технология быть использована на ком-то без его ведома, например, авторитарным режимом для допроса политических заключенных или работодателем для слежки за сотрудниками? Нет. Система должна быть тщательно отработана на человеке, готовом к сотрудничеству, и сделать это можно только в центре с дорогостоящим оборудованием. «Человек должен провести до 15 часов, лежа неподвижно в магнитно-резонансном томографе и внимательно слушая подкасты, прежде чем система действительно заработает», — говорит Хут.
Можно ли вообще отказаться от такого длительного предварительного обучения? Нет. Исследователи протестировали систему на людях, на которых она не была обучена, и обнаружили, что результаты неразборчивы — текстовый поток превращается в пустой набор слов.
Есть ли способы защиты от расшифровки мыслей? Да. Исследователи проверили, может ли человек, который ранее участвовал в обучении, активно сопротивляться последующим попыткам расшифровки мыслей. Достаточно, например, думать о животных или спокойно представлять, как рассказываешь свою собственную историю, а не ту, что тебе сообщают или показывают сейчас. Такое отвлечение полностью блокирует работу системы по восстановлению речи.
Может технология стать настолько развитой, чтобы преодолеет технические препятствия и любую защиту? Это трудно предвидеть. «Я думаю, что сейчас, пока технология находится в таком раннем состоянии, важно действовать на опережение, принимая меры, которые защищают людей и их частную жизнь», — говорит соавтор работы Джерри Танг. -«Законодательное регулирование использования подобных устройства, также очень важно».