ИИ для музыкантов: в чем нейросети могут помочь и в чем точно не могут

Платформа онлайн-мастеринга (простыми словами – «улучшайзинг» записанных песен) LANDR запустилась в 2014 году, вспоминает он. Затем появился ИИ-помощник мастеринга iZotope Ozone, он дебютировал в 2017 году. Suno — искусственный интеллект, создающий целые музыкальные треки, основываясь на текстовых запросах, — запустился в конце 2023 года.

Все современные ИИ-инструменты делятся на две категории, говорит он.

Первая, этически проблемная категория – это те сервисы, что дублируют существующие навыки людей и несут риск замещения собой человеческого труда. Вторая не вызывает конфликтов, при этом более интересна в художественном плане – технологии, выполняющие задачи, которые были невыполнимы раньше.

К счастью для музыкантов, первая категория до сих пор не несла настоящей угрозы. «Сколько-нибудь сравнимыми по качеству с работой профессионалов (звукорежиссеров, аранжировщиков, композиторов) эти сервисы стали совсем недавно, в течение последних лет», — говорит он.

«Из личного общения и сотрудничества с музыкантами, у меня сложилось мнение, что большинство относится к ИИ скептически, и если и используют его, то крайне точечно. Профессиональные музыканты, возможно по привычке, а возможно исходя из этических соображений, преимущественно полагаются на свои умения и умения коллег, и нейросеть для них может быть вспомогательным инструментом или ассистентом в решении задач, но никак не коллегой в полной мере», — говорит он.

Дело не столько в консервативности мышления, сколько в слабости возможностей компьютера. «Если внимательно вслушиваться в аранжировки или треки, полностью выполненные искусственным интеллектом, подготовленный слух заметит странности: звуковые артефакты и ошибки, физически неисполнимые на инструментах музыкальные пассажи, порой нелепые или неуклюжие художественные решения», — объясняет он.

Музыканты не отказываются от него и продолжают искать, где можно его использовать на всю катушку. Пару лет назад современная композитор Холли Херндон (Holly Herndon) обучила ИИ-модель записям своего вокала и создала его искусственную версию под названием Holly+. Стало можно вокал на записанных вокальных дорожках заменять на ее тембр. Фактически, она отдала свой голос другим музыкантам в качестве музыкального инструмента, который теперь может исполнять песни на любом языке и в любом жанре.

Сергей Нестеров тоже прибегает к искусственному интеллекту в музыке, если того требуют поставленные художественные цели. Работая над мультимедиа-оперой «Петров», основанной на событиях 1983 года, когда советский офицер Станислав Петров предотвратил потенциальную ядерную войну между США и СССР, он обучил модель искусственного интеллекта тембрам и манерам речи лидеров США и СССР того времени — президента Рональда Рейгана и генерального секретаря Юрия Андропова. На основе аудиозаписей их речей и интервью ИИ сконструировал модели их голосов, сделав выразительные тембральные краски двух политиков своеобразной звуковой декорацией оперы: «Они помогали погрузить слушателей в подходящую историческую и политическую эпоху, вели закадровое повествование, которое слышали и зрители, и главный герой – Петров», — говорит он.

Один художественный эффект оказался неожиданным. В определенные моменты оперы тембры двух политиков «сращивались» друг с другом, то объединяясь в единый голос, то плавно переходя из одного в другой, деформируясь и соединяясь с тембрами других инструментов. «Это редкий пример по-настоящему художественного применения ИИ, поскольку без него такие тембральные нововведения были бы невозможны», — говорит он.

Музыканты-любители и малобюджетные инди-исполнители не так критичны к качеству, как профи, поэтому создатели ИИ-инструментов с самого начала много ориентировались на них. Одними из главных потребителей этих сервисов стали так называемые бедрум-продюсеры (bedroom producers) – музыканты, самостоятельно выполняющие все задачи создания музыки, от сочинения и аранжировки до исполнения и звукорежиссуры.

Если у такого музыканта-любителя или бедрум-продюсера нет достаточных навыков сведения и мастеринга музыки, либо отсутствует бюджет на работу звукорежиссера, ИИ-программы приходятся кстати, говорит он. «Они упрощают и автоматизируют процесс, анализируя сделанную запись, сравнивая ее с тысячами профессиональных треков, подстраивая эквалайзер, компрессию, лимитер и другие элементы сведения».

Результат обработки не будет идеальным и не сравнится с кропотливо выполненной работой умелого звукорежиссера, говорит он. Зато подкупают крайне низкие затраты и быстрота получения результата: на выполнение сведения уходят минуты и стоимость месячной подписки (порядок сотен рублей), а не целые дни и десятки тысяч.

Если же у музыканта проблемы с сочинением мелодии, развитием гармонии, или нет умения хорошо аранжировать, можно обратиться к таким платформам как Suno, AIVA или Boomy. Они помогают в генерации последовательностей аккордов и мелодий, даже в создании минусовок или целых песен с ИИ-вокалом.

«Профессиональные композиторы и аранжировщики посвящают десятилетия своей жизни обретению узкопрофильных навыков, вкладывают многие часы высокооплачиваемого труда в создание коротких композиций. ИИ выполняет относительно близкую по качеству работу в течение нескольких минут», — говорит он.

Например, стало простым разделение музыкальных композиций на отдельные звуковые дорожки. Сервис Lalal.ai помогает музыкантам «достать» из цельных музыкальных записей отдельные элементы: вокал, ударные, фортепиано, или звуковые дорожки с другими инструментами. С его помощью диджеи и электронные музыканты свободнее используют сэмплы, делают ремиксы, вступают в своеобразный диалог с существующими композициями.

Тем, кто учится музыке на записях лучших исполнителей, он помогает научиться копировать стиль своих кумиров.

Несмотря на всю свою мощь, ИИ – это лишь инструмент в руках музыкантов. Он помогает приблизительно воспроизвести стиль музыки, подкинуть творческие идеи, выполнить отдельные технические задачи, но не может самостоятельно нести инновации в культуре, говорит Сергей Нестеров. «Творения ИИ – это зеркало человеческой культуры и ее достижений, усредненное выражение миллионов музыкальных композиций».

«Кажется, что он может бесконечно варьировать исходные данные, предлагать различные варианты, но сами вводные – будь то текстовые запросы, звуковые исходники, аккордовые последовательности – это человеческая прерогатива, — говорит он. — Человеческой обязанностью также остается отбор, просеивание вариантов, выданных искусственным интеллектом: нейросеть не может сама решить, какой момент музыки лучше, какой сохранить и использовать, а какой отбросить. Решение остается исключительно человеческим искусством».