Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка, поделился: «Kandinsky 4.1 Video обеспечивает качественно новый уровень генеративного видео. Модель стала в разы лучше по всем параметрам: по соответствию промпту, визуальному качеству, качеству генерации движений, а также способности моделировать физику мира. Такие разработки открывают беспрецедентные возможности как для дизайнеров, маркетологов, так и для представителей любых других креативных индустрий, работающих над созданием высококачественного видеоконтента».
Качественный скачок в генерации видео по тексту: представлена Kandinsky 4.1 Video
Сбер активно развивает генеративную нейросеть Kandinsky и в ближайшее время выпустит новую версию для генерации видео Kandinsky 4.1 Video. Первые доступы к нейросети уже получили участники конференции GigaConf, а также некоторые художники и дизайнеры. В ближайшем будущем она будет доступна всем пользователям.
Кадр из видео от Kandinsky 4.1 Video
С помощью модели можно создавать качественные видео с произвольным соотношением сторон под любые пользовательские и продуктовые потребности.
В основе лежит продвинутая архитектура диффузионного трансформера. Одним из ключевых факторов, позволивших значительно улучшить качество модели, стало её дообучение (Supervised Fine-Tuning, SFT) на тщательно отобранных данных, подготовленных более, чем 100 экспертами — дизайнерами, фотографами и художниками с профильным образованием. Этот этап обучения позволил значительно повысить уровень художественной выразительности, композиции видео и кинематографичности визуального ряда.
Переход к новой большой архитектуре заметно увеличил потребность в вычислительных ресурсах, поэтому при разработке уделялось особое внимание оптимизации. В результате применения методов дистилляции и ускорения, время генерации видео сократилось более чем в три раза по сравнению с исходным вариантом, при этом в ряде сценариев качество генерации сохранилось или даже улучшилось.
Напомним, что первая в России модель генерации видео Kandinsky Video была представлена 22 ноября 2023 года на конференции AI Journey.