В последние годы исследователи активно изучают, как мозг расшифровывает сигналы, поступающие от органов зрения. Ранее подобные эксперименты проводились в основном на людях с использованием функциональной магнитно-резонансной томографии, которая позволяла декодировать визуальную информацию.
Искусственный интеллект воссоздал видео по сигналам мозга мышей
Ученые из Университетского колледжа Лондона совершили обучили искусственный интеллект реконструировать видеоролики на основе активности мозга мышей. Используя данные о работе отдельных клеток зрительной коры, исследователи смогли с высокой точностью воссоздать то, что видели животные. Этот метод открывает новые возможности для изучения механизмов зрительного восприятия.
Ученые воссоздали видеоролики, используя исключительно нейронную активность мышей, что дало новое представление о том, как мозг кодирует визуальную информацию. Shutterstock
Технологии чтения мыслей развиваются стремительно и за пределами фундаментальной науки. В подобных исследованиях на людях ученые используют алгоритмы для декодирования не только видео, но и внутренней речи. Это позволяет парализованным пациентам общаться с миром. Синтез данных активности мозга и нейросетей в будущем поможет создать идеальные зрительные протезы для слепых, транслируя видео с камер прямо в кору.
Но новая работа британских специалистов вывела исследования на качественно иной уровень благодаря фиксации активности отдельных клеток. Вместо того чтобы полагаться на общие изменения кровотока в мозге, как при фМРТ, ученые применили метод микроскопической визуализации. Они отслеживали уровень кальция в клетках зрительной коры мышей, что позволяло точно определять моменты возбуждения каждого конкретного нейрона.
Кадры из роликов, которые показывали мышам (верхний ряд), в сравнении с кадрами из реконструированных видеороликов (нижний ряд).
Продолжение ниже
Видео
Продолжение
Для анализа данных была адаптирована динамическая нейросетевая модель. Алгоритм учитывал не только видеоряд, показанный грызунам, но также их движения и изменения диаметра зрачков. Сопоставляя реальную активность нейронов с прогнозируемой, ИИ начинал с абсолютно пустого экрана и постепенно, пиксель за пикселем, корректировал изображение. В результате система научилась генерировать высококачественное видео, основываясь исключительно на сигналах мозга. Работа опубликована в журнале eLife.
Искажения как свойство восприятия
Что видит мышь
Успешное обучение модели позволило авторам эксперимента воссоздавать десятисекундные ролики, которые мыши смотрели впервые. Точность реконструкции напрямую зависела от количества задействованных в анализе нейронов, что подтвердило важность сбора максимально полных массивов биологических данных.
Сравнение оригинальных кадров и полученного результата показало минимальные временные задержки и высокую степень соответствия. Теперь исследователи планируют использовать новую технологию для изучения фундаментальных различий между объективной реальностью и тем, как ее воспринимает живой организм.
Разработчики стремятся понять, почему внутреннее представление визуальной информации порой искажается, и какие именно факторы влияют на эти изменения. Ведущий автор работы доктор Джоэль Бауэр отметил: «В наших головах нет идеального представления о мире. Процесс обработки визуальной информации искажает наше восприятие, изменяя данные. Это отклонение между реальностью и репрезентацией в мозге не обязательно является ошибкой, это скорее особенность, отражающая то, как наш разум интерпретирует и дополняет сенсорную информацию. Мы хотим понять, как это происходит».
Загружаем