Нейросеть YandexART научилась создавать плавные движения в видео

Нейросеть «Яндекса», которая называется YandexART, научилась воссоздавать плавные движения объектов в кадре. Об этом сообщила пресс-служба компании.

Корпорация представила предыдущую версию модели для генерации видео по текстовому описанию в августе 2023 года. Прошлое решение позволяло получать анимации, которые выглядели так, будто двигалась камера, но не объект. Кроме того, от кадра к кадру объекты при генерации значительно менялись.

Теперь ИИ создаёт реалистичные движения, а также учитывает связь между кадрами. Нейросеть обучали на различных роликах. На входе модель получает текстовое описание от пользователя о том, что должно быть в кадре, после чего нейросеть создаёт картинку, с которой будет начинаться анимация. Затем модель постепенно превращает цифровой шум в последовательность кадров, опираясь на это изображение и текстовый запрос.

Как подчеркнули в «Яндексе», нейросеть могут использовать как обычные пользователи, так и блогеры, мультипликаторы, креаторы и другие специалисты. YandexART (Vi) доступна в приложении «Шедеврум».