По сюжету музыка исчезла из нашего мира, и чтобы спасти ее игрок отправляется в путешествие по параллельным вселенным, где встречает ячейки данных – ноды. Под ритм, заданный музыкальным треком уровня, игрок танцует, то есть разбивает ячейки руками и уворачивается от препятствий-перегрузок. Визуально ячейки похожи на идеальные окружности, внутри которых хранится звук. Не случайно название ячеек – ноды – созвучно слову ноты.
Вышла российская танцевальная VR-игра с саундтреком от Яндекс Музыки: треки написаны музыкальным экспертом и нейросетью
Яндекс Музыка создала саундтрек к экспериментальному проекту Dance Loop VR. Композиции написал музыкальный эксперт Ник Завриев совместно с нейросетью сервиса. Разработчиком VR-игры в популярном у геймеров стиле cardio dance, где игровой процесс совмещен с ритмическими движениями, а процесс прохождения напоминает танец, выступила российская студия Fibrum.
В новой игре Dance Loop VR-пространство оживает под действием электронной музыки, одна часть которой написана человеком, а другая – искусственным интеллектом.
Одна из главных историй внутри проекта – взаимодействие музыканта с генеративной музыкой. Для того, чтобы случился симбиоз творчества и технологий, нейросеть написала больше 60 треков. Разработчики игры проанализировали их, отобрали по настроению, выверяли по ритму и звуку. Затем вдохновившись генеративной музыкой и опираясь на мелодику и темп, автор Ник Завриев написал уже свои работы, ставшие также частью саундтрека игры.
Чем вдохновлялись создатели игры
Разработчики и дизайнеры черпали вдохновение в научной фантастике середины XX века. Монументальные локации с гигантскими заброшенными динамиками, большое овальное окно, за которым раскинулся бескрайний космос, забытый много десятков лет назад музыкальный мир, непонятные инопланетные существа, напоминающие одновременно Майка Вазовски из «Корпорации монстров» и лангольеров из одноименного фильма, парящие в воздухе и наблюдающие за игроком в процессе прохождения.
Главными вдохновителями стали пионеры электронной музыки группа Tangerine Dream, а также электронный музыкант Жан-Мишель Жарр. Синтезаторы, ритмы, футуристичные обложки альбомов – все это нашло отражение в проекте, получившем образ немного ностальгической ретро-фантастики, в которую можно погрузиться на 20 минут. А нестандартная физика движений позволяет совместить игру, танец и активную фитнес-нагрузку.
Создатели игры вдохновлялись еще и японскими игровыми автоматами –малоизвестными для культуры западного и русского мира. «Все оттуда стараются что-то перенять так или иначе, потому что комьюнити там полностью закрытое и там точно есть, чем вдохновиться. Мы тоже вдохновлялись, потому что японский геймдев задает тенденцию рынка, – говорит креативный директор игры Денис Тимохин. – Допустим, убедились, что круговые махания руками – это классно, что это не "высосано из пальца". У нас, например, нет большой тестовой группы танцоров, но эти механики используют японцы, в том числе именно в автоматах. Так мы поняли, что эти механики точно работают и использовали их уже для нашей игры».
Кроме того, игра – условная геймификация образа «Витрувианского человека» Леонардо Да Винчи. Передвижение рук по окружности перед игроком и небольшие шаги в стороны в точности повторяют некоторые элементы с картины легендарного художника.
Генеративная музыка ритмически выверена, в ней нет слов или пауз, которые могли бы отвлечь игрока. По смыслу это набор алгоритмов и сетей глубокого обучения, которые когда-то получили большое количество коротких и связанных звуков в определенном жанре, а потом во время машинного обучения система предполагала, какой звук должен идти дальше. Если она угадывала, то между этими звуками формировалась связь. На основе подобных связей между отдельными элементами мелодии система позже и собирала свой трек. Так, для создания звучаний и подобных связей были использованы партии в самых разных жанрах от рока и хип-хопа до электроники и эмбиента. Десятки тысяч композиций и переходов создают миллионы вариаций разных треков, которые может написать нейросеть.