Исследователи из Института Вейцмана под руководством Михаль Ирани создали двухкомпонентную систему: энкодер прогнозирует активность мозга по изображению, а декодер восстанавливает увиденное. Главная идея заключается в разделении задач: одна часть модели распознает структуру и геометрическое расположение объектов, а вторая — их прямое смысл, того что изображено — яблоко или груша. Это позволяет нейросети генерировать крайне точные копии оригинальных картинок.
ИИ-модель по МРТ распознает, что видит человек и, возможно, научится визуализировать сны
ИИ-модель сделала важный шаг в области декодирования активности головного мозга. Команда исследователей разработала инструмент, который с высокой точностью воссоздает изображения, увиденные человеком, анализируя данные функциональной МРТ. Технология способна работать и в обратную сторону — предсказывать реакцию нейронов на картинку. В перспективе метод может помочь парализованным людям и открыть доступ к визуализации снов.
Распознавание снов — следующий шаг в работе нейробиологов. Robert Neubecker. Science
От фМРТ к легким гарнитурам. Главный барьер для чтения мыслей сегодня — громоздкость фМРТ-сканеров, работающих на гигантских магнитах. Однако нейробиологи уже адаптируют алгоритмы под электроэнцефалографию (ЭЭГ). ЭЭГ фиксирует электрическую активность мозга через компактный шлем или обычные наушники. Если ИИ научится декодировать сигналы ЭЭГ так же точно, как фМРТ, «чтение мыслей» станет доступно на потребительских устройствах.
В каждой паре картинок: слева — на что человек смотрит, справа — что распознает декодер.
Главным препятствием для подобных проектов всегда оставался дефицит данных фМРТ. Чтобы преодолеть его, ученые заставили энкодер и декодер обучать друг друга на тысячах изображений, взятых из интернета. В результате около 70% обучающего массива составили картинки, которые испытуемым даже не показывали. Новый метод требует всего один час сканирования мозга нового человека для калибровки вместо прежних 40 часов, что существенно снижает стоимость исследований.
Продолжение ниже
Видео
Продолжение
фМРТ-сканирование.
Этический вызов
Технология уже опережает существующие аналоги по точности, хотя иногда допускает погрешности — например, путает торт с бутербродами. В ближайших планах разработчиков — переход от статичных кадров к видео, аудио, воображаемым образам и даже к снам. «Идея использовать такой подход для помощи людям с неврологическими заболеваниями в терапевтических целях чрезвычайно захватывает», — отмечает Джуди Иллес, профессор неврологии из Университета Британской Колумбии, не принимавшая участия в работе.
ЭЭГ. Если ИИ-модель начнет работать не с фМРТ-сканерами, а с легкими ЭЭГ-шлемами многое изменится.
Но экспертное сообщество выражает серьезную обеспокоенность вопросами приватности. Развитие портативных методов считывания нейронных сигналов (например, через ЭЭГ-гарнитуры) может создать риски несанкционированного доступа к воспоминаниям и мыслям людей. Соавторы исследования признают потенциальные опасности, но пока фокусируются на научном и медицинском потенциале проекта.
Загружаем