ИИ превращает видения человека в видео

Ученые использовали сканы, полученные с помощью функциональной магнитно-резонансной томографии (фМРТ) для обучения модели Stable Diffusion. В результате исследователям удалось создать высококачественные видео того, что видит человек.

В последние месяцы появились сообщения об успешном воссоздании неподвижных изображений, полученных по сканам мозга с помощью модели Stable Diffusion, которая обычно используется для создания изображений. Но, как говорит ведущий автор работы Цзясинь Цин, получение «видеороликов» представляет собой особую задачу.

В процессе фМРТ-сканирования обычно регистрируются сигналы, зависящие от уровня насыщения крови кислородом (BOLD). Изображения активности мозга делаются раз в несколько секунд. Это приводит к получению видеоизображений низкого качества. Чтобы получить нужную скорость — 30 кадров в секунду — надо добиться непрерывного «перетекания» кадра в кадр. В системе разработанной учеными это сделать удалось.

Цин говорит: «Воссоздание того, что человек видит, по записям активности мозга, особенно с использованием неинвазивных инструментов, таких как фМРТ, является захватывающей, но трудной задачей».

Команда добилась высокого качества видео с помощью модели Mind-Video. Ученые так ее описали: «Двухмодульный конвейер, предназначенный для преодоления разрыва между декодированными изображениями мозга». Декодер сканов фМРТ постепенно обучается на основе полученных сигналов мозга, тренируется с помощью баз данных изображений и точной настройки.

По словам ученых, в результате были получены высококачественные видеоролики, отражающие движение и динамику сцены с точностью 85%. Цин говорит, что их работа показывает перспективу для будущих приложений больших моделей «от нейробиологии до интерфейсов мозг-компьютер».

Использование ИИ наряду с фМРТ и ЭГМ (электромиограмма) для анализа активности мозга и движения мышц открывает новые неожиданные возможности. Синдзи Нисимото, нейробиолог из Университета Осаки, говорит, что эти процессы вполне могут быть использованы для фиксации мыслей и снов.

Сомнолог Дэниел Олдис, работающий в Лаборатории когнитивной нейронауки Техасского университета в Остине, тоже работает над технологией МРТ для записи снов. Его система отслеживает активность мозга и нервные импульсы в мышцах, чтобы определить образы, речь и движения во сне. Олдис говорит: «Это похоже на первые годы космической гонки. Но в данном случае мы отправляемся в пространство сновидений».

В среднем человек видит до шести снов за ночь, но забывает 90% из них в течение нескольких минут после пробуждения. Перспектива постоянной записи сновидений захватывает.

В древних культурах считалось, что сны — это послания от Бога. В XX веке Фрейд выдвинул гипотезу, что за нашими снами стоят подавленные сексуальные и эмоциональные импульсы.

Некоторые из величайших открытий приходят из тех ночных путешествий, которые мы совершаем каждую ночь.

Мелодия песни «Yesterday» группы «Битлз», названной лучшей песней XX века по результатам опроса радиостанции BBC, пришла к Полу Маккартни во сне. Знаменитый трехнотный вступительный рифф хита Rolling Stones «Satisfaction» пришел к Киту Ричардсу посреди ночи: он проснулся, чтобы записать черновую версию песни, пробормотал «I can't get no satisfaction», снова заснул и понял, что записал, только когда утром прослушал запись.

А один нервный студент, опасавшийся, что его зачисление в Стэнфордский университет было ошибкой, увидел тревожный сон, в котором он загрузил на свой компьютер весь Интернет. Проснувшись, он приступил к проекту, который привлечет 89 миллиардов пользователей в месяц и будет отвечать на 99 000 запросов в секунду. Его имя: Ларри Пейдж. Его творение: Google.

Как-то не хочется думать, что 9 из 10 таких прозрений, люди забывают.

Запись и трансляция наших снов — от ночных кошмаров до вдохновляющих идей — пока остается мечтой. Но, как показывают работы Цинга и Олдиса, до ее воплощения осталось совсем недолго.