Искусственный интеллект уже давно практикует свои навыки в сфере творчества. Но одно дело самому писать стихи, совсем другое понимать их!

Аниматор Гленн Маршалл решил поэкспериментировать с визуализацией поэзии. Он создал видео ролик, в котором ИИ превращает строчки стихотворения Кристины Россетти «В мрачную середину зимы» в анимацию.

Для этой работы Маршалл воспользовался библиотекой Story2Hallucination, которая работает на основе генеративного искусственного интеллекта Big Sleep, способного визуализировать любые текстовые паттерны.

Помимо этого, автор видео использовал инструмент vo.codes. Этот алгоритм способен озвучивать любой текст голосами знаменитых актеров, художников, ученых и даже мультяшек. Поскольку общий визуальный ряд ролика получился тревожным, Маршалл решил «позаимствовать» низкий голос Кристофера Ли, добавив ему немного мистического эха.

Безусловно, получившееся видео сложно сравнить с точными работами аниматоров. Ролик больше похож на набор GIF-файлов с низким разрешением. Однако настроение и сами кадры все равно создают гнетущее и мрачное настроение зимы, которым пропитана сама поэма. Интересно, что некоторые моменты ИИ визуализировал в буквальном смысле! Например, во время строчки «вода, как камень» вы увидите, как из воды появляется булыжник...