Photoshop для музыки. Adobe анонсирует генеративный ИИ для преобразования текста в музыку
Команда Adobe Research анонсировала Project Music GenAI Control. Это инструмент создания и редактирования музыки с использованием искусственного интеллекта.
«Благодаря Project Music GenAI Control генеративный искусственный интеллект становится вашим соавтором. Это помогает людям создавать музыку для своих проектов. Любой кому нужен звук с определенным настроением, тоном и длиной», — говорит Николас Брайан, старший научный сотрудник Adobe Research и один из создатели технологий.
Adobe уже 10 лет занимается проектами, связанными с ИИ. Firefly — семейство генеративных моделей искусственного интеллекта Adobe стало популярной моделью создания изображений. На сегодняшний день с помощью Firefly создано более 6 миллиардов изображений. Firefly отличается от многих других проектов ИИ, генерирующих изображения, тем что он обучается только на разрешенных изображениях и все его изображения содержат маркеры, позволяющие идентифицировать производителя пакета. То есть, такие картинки нельзя спутать с реальными фотографиями, например. Эти же идеи Adobe намеревается вложить и в редактор музыки.
Как создать свою музыку с нулю
Работа с Project Music GenAI Control начинается с текстовой подсказки (промпта), которую получает ИИ. Так работает подавляющее большинство генеративных моделей. Пользователь пишет, например «мощный рок», «веселый танец» или «грустный блюз». Так задается тема. Как только ИИ генерирует первый набросок, начинается детальное редактирование. Ясно, что если создатель музыки хочет добиться уникального звучания, от него потребуются серьезные композиторские навыки и даже талант. Но редактор содержит много возможностей, которые могут сильно ускорить процесс.
Пользователь может преобразовывать сгенерированный звук на основе эталонной мелодии (менять тональности, высоту и т.д.), может корректировать темп, структуру и повторяющиеся паттерны, может выбирать, когда увеличить и когда уменьшать громкость, может регулировать продолжительность произведения, может работать с микшером.
Вместо того, чтобы вручную нарезать уже существующую музыку для создания вступлений, заставок и фонового звука, с помощью Project Music GenAI Control можно создавать именно те фрагменты, которые нужны.
«Одна из интересных особенностей этих новых инструментов заключается в том, что они не просто генерируют звук — они выводят его на уровень Photoshop, предоставляя творческим людям такой же глубокий контроль над формированием, настройкой и редактированием звука. Это своего рода управление музыкой на уровне "пикселей"», — объясняет Брайан.
Тот, кто глубоко разбирался с Photoshop, знает, насколько это сложный и мощный инструмент. Можно надеяться, что Project Music GenAI Control ему не уступит.