Метавселенные — главная технология и тренд этого года

А в разгар пандемии Epic Games провел в Fortnite концерт рэпера Трэвиса Скотта, за которым следили 12 млн игроков. На самом деле количество зрителей было намного больше: концерт транслировался на Twitch и YouTube. Столько ни один музыкант не собирает за все мировое турне. В итоге виртуальные вселенные стали рассматривать как перспективные концертные площадки, вот-вот запустится первая из них – Sensorium Galaxy.

С необычной стороны к метавселенным нас подтолкнул и Голливуд. С приходом в эту отрасль астрономических бюджетов порядка 100 млн долл. увеличился и риск: провал дорогостоящего блокбастера запросто может похоронить киностудию. Поэтому киностудии решили перестраховаться и вместо новых историй запускать бесконечные безотказные франшизы – «Звездные войны», «Трансформеры», «Люди Икс», «Властелин колец», вселенные Marvel, DC и Disney. Мы привыкли к этим вселенным и отождествляем себя с некоторыми из них. Они уже поселились в нашем мозгу.

В прошлом году все ушли в онлайн, сидели в зуме. И тут выяснилось, что наши лица там не слишком-то хорошо выглядят. Хочется их немного улучшить, бьютифицировать. Моментально возникли технологии, которые работают с видеопотоком, вычленяют из него лицо, разбирают на части и позволяют делать с ними что угодно. В частности, превратить в модель, на которую «посадить» другое лицо, дипфейк или аватар. И он будет за тебя в зуме выступать.

Появилась удивительная технология Nvidia Broadcast, которая передает не изображение, а набор фонем, мимику. А на обратной стороне генеративно-состязательными сетями (ГАН) генерит лицо, дипфейк.

Это стало возможным благодаря прорыву в области захвата лица, который уже сейчас можно делать без дополнительного оборудования, при помощи одного современного смартфона. Продаются даже специальные шлемы с крепежом для телефона напротив лица. Наверняка скоро и они исчезнут, а на смену придут какие-нибудь прозрачные силиконовые маски с датчиками.

Раз в десять подешевели костюмы для Motion Capture. Но это только начало. Уже появились экспериментальные образцы «умных» ниток, которые вплетаются в одежду и снимают данные. И это не только захват движения, а один из самых совершенных фитнес-трекеров, который может отслеживать массу параметров – от дыхания и сердечных ритмов до перекосов в позвоночнике.

Технологии аватаризации захватили нас, и народ бодро начал в это играть. Раз – и мы поменяли свои личности. Буквально за три месяца локдауна нейросети невероятно прокачались и научились на лету менять в видео задний фон, модифицировать лица. Появилась куча сделанных на коленке проектов, где можно проводить развлекательные ивенты, например SpaceChat.

Затем за дело взялись гиганты с возможностями целых государств. Один из самых ожидаемых проектов – VR-вселенная Horizon от Facebook (Социальная сеть признана экстремистской и запрещена на территории Российской Федерации). Здесь игроки смогут создавать виртуальные аватары и перемещаться между разными локациями через порталы – Telepods; можно будет вместе с друзьями тусоваться, ходить на концерты, смотреть фильмы и играть в многопользовательские игры. К тому же у Facebook (Социальная сеть признана экстремистской и запрещена на территории Российской Федерации) есть второй необходимый компонент виртуальных вселенных – Oculus с прошлогодним мегахитом, VR-шлемом Oculus Quest 2. Пока жители Horizon выглядят смешно: с верхней частью тела у них все нормально, а ног нет – герои летают, как бабочки.

Махать виртуальными руками и имитировать мимику научились в течение прошлого года. Трекинг лица (при помощи, например, смартфона) и трекинг рук (Quest 2 использует для этого две камеры, направленные вниз) сделали довольно быстро. А вот создать реалистичные ноги оказалось сложно. И с точки зрения математики, и с точки зрения визуального восприятия. В том же Sensorium Galaxy обещают прикрутить мощный ИИ, который, исходя из движений рук, мимики и направления перемещения, будет сам дорисовывать ноги. Причем создатели утверждают, что в программе удастся даже полноценно танцевать.

Пандемия повлияла и на технологии захвата движений Motion Capture, или, проще, мокапа. Изначально для захвата мимики на лицо приходилось клеить кучу меток-маркеров, но благодаря огромному числу видеоконференций лица научились выявлять в видеопотоке без всяких датчиков, маркеров и шлемов. ВCG Event говорят, что нейросетками можно захватывать движения всего тела – просто из видео, снятого на смартфон. Это дает возможность создавать цифровых двойников людей и поселять их в виртуальные вселенные, которые сейчас начнут расти, как грибы.

Я испытал шок, когда впервые столкнулся с цифровой одеждой, которая продается на сайтах по ценам реальных вещей – 20–40 долл. за футболку. Благодаря возможностям трекинга видеопотока виртуальную одежду теперь можно довольно ловко «притрекать» к реальному телу. Цифровые вещи покупают только с одной целью – примерить на себя, снять фото или видео и выложить в Сеть. Вначале думаешь: ну что за бред? А потом понимаешь, что в экономике внимания это попадание в яблочко.

​

С цифровыми двойниками все понятно, но их надо куда-то заселять. Поэтому многие компании сейчас оцифровывают целые города. Мало поместить в движок Unreal точные архитектурные копии домов, чтобы можно было передвигаться между ними. Современный город напичкан гигантским количеством датчиков – от расхода воды и электричества до дорожных камер. Все эти данные можно ввести в систему и визуализировать – и поток машин по дорогам, и движение воды по трубам.

Во многих крупных городах, особенно в Китае, повсюду висят камеры, которые не только идентифицируют лица людей, но и считывают их эмоции. Это уже не копия города на уровне Google Maps – это копия живущего города, которая позволяет наслаждаться красотой и одновременно наблюдать, моделировать и ставить эксперименты.

Есть и проект по полной цифровизации Земли – Earth 2. Задача проекта – сделать максимально точную виртуальную копию нашей планеты. Насколько ребята продвинулись в оцифровке, пока не очень понятно, но торговля идет бойко. Вся планета поделена на 5,1 трлн условных плиток (на Россию приходится 16,377 млрд), которые продаются по стартовой цене 0,1 долл., причем стоимость таких плиток в центрах модных городов быстро растет.

В День космонавтики Nvidia на своей конференции в очередной раз показала платформу для объединения виртуальных миров Omniverse. И если в прошлом году акцент в основном делался на возможности работы над одной сценой из разных мест, то в этом риторика сместилась в сторону концепции Digital Twins – создания копии нашего ветхого мира и обитания в нем. Компания продемонстрировала не только развлекательные возможности, но и готовые бизнес-кейсы. Например, виртуальный продакшн в Omniverse. Специальный дрон летает по съемочной локации и генерирует более 10 млрд точек, которые закачиваются в Omniverse, где создается копия мира, в которой снимают кино.

BMW показала точную цифровую копию своего завода в Omniverse, по которому можно перемещаться и следить за любыми деталями в реальном времени. Причем там присутствуют копии не только роботов, но и людей. Инженеры в мокап-костюмах настраивают конвейерную линию в виртуальном пространстве, оптимизируя производство и общаясь при этом, как в игре. Параллельный мир с цифровыми копиями заводов, роботов и работников!

Виртуальный мир удобен для бизнеса по многим причинам. Например, если на реальном заводе что-то закоротило, оператор смотрит на камеру или датчик и пытается понять, откуда писк, – в трехмерном же мире он сразу видит, где и что произошло, и способен реагировать быстрее и правильнее. Мало того, к каждому предмету в цифровой вселенной привязаны метаданные: известно, где, например, купили эту розетку, какие у нее параметры, какого числа ее установили. И так по всей вселенной. Любую информацию можно визуализировать, и мы в состоянии ее мгновенно воспринять – совсем по-другому, чем читая с бумажки.

Кажется, что виртуальные вселенные пока где-то далеко. Но это не так: они уже сейчас влияют на нашу жизнь. Взять хотя бы криптовалюты. Они, как и метавселенные, не обеспечены ничем, кроме человеческого внимания. Криптовалюта – это и есть мы, с нашей алчностью и жаждой быстрого успеха. Точно так же виртуальные вселенные и цифровые двойники будут зеркалить наши слабые и сильные стороны. Ждать осталось совсем недолго.