Google представила новый искусственный интеллект для создания видео

Lumiere может создавать удивительно реалистичные — или сюрреалистичные — видеоклипы высокого качества продолжительностью до пяти секунд. Он может анимировать неподвижные изображения или только их фрагменты в ответ на текстовые подсказки о том, что вы хотели бы увидеть.

Программа может взять изображение, скопировать его стиль, а затем использовать для создания множества видеороликов на другие темы, которые выглядят и ощущаются настолько похожими, что могли бы быть выпущены брендинговым агентством. Он может взять ваше собственное исходное видео и превратить все в конструктор Lego, или оригами, или цветы — вам просто нужно ему сказать.

Кажется, Lumiere обладает самыми продвинутыми возможностями редактирования видео, которые мы когда-либо видели. Например, вы можете просто закрасить часть изображения, которая вам не нравится, и Lumiere автоматически заполнит эту область так красиво, что вы, скорее всего, даже не заметили бы, если бы не искали ее. Бывший парень в вашем любимом видео? Ненадолго.

Участвующая в создании программы исследовательская группа говорит, что «пространственно-временная архитектура U-net» Lumiere создает всю длину видео сразу, за один проход, в отличие от предыдущих моделей, которые часто генерировали начальный и конечный кадры, а затем пытались угадать, что произойдет между ними.

Как бы это ни было сделано, результаты говорят сами за себя — это новое достижение в видео с генеративным искусственным интеллектом.

На данный момент это просто исследовательский проект Google, но это все равно огромный скачок вперед, и будет интересно посмотреть, насколько хорошо будет Lumiere в руках обывателей (если нам когда-нибудь разрешат им пользоваться!).

Предлагаем вам посмотреть видео, которое во всех красках показывает удивительную работу Lumiere