Alibaba представила новую модель Wan 2.2 Animate с открытым исходным кодом, которая умеет превращать статичные изображения в реалистичные видеоролики. Нужно загрузить фото персонажа и ролик с движениями, и система «оживит» изображение: повторит мимику, позы и пластику тела.
Модель работает в двух режимах. В первом она переносит движения из драйв-видео на героя с фотографии и создает новое видео. Во втором – заменяет персонажа в самом ролике: фон и сцена сохраняются, но вместо оригинального человека появляется выбранный персонаж. Можно ограничиться заменой лица или полностью заменить тело с точной синхронизацией губ и сохранением освещения.
Источник: Alibaba (здесь и на обложке)
По сравнению с предыдущей версией, качество анимации заметно выросло. Разработчики добились большей точности передачи эмоций и движений благодаря объединению скелетных и лицевых сигналов. Также модель использует архитектуру «смеси экспертов», когда разные модули обрабатывают участки с разным уровнем шума. База данных для обучения тоже увеличилась – на 65% больше изображений и на 83% больше видеоматериалов.
Wan 2.2 Animate входит в семейство моделей Wan 2.2 для генерации видео из текста и озвучки. Скачать инструмент можно на GitHub и Hugging Face, доступен он и через API на Alibaba Cloud. Для полноценного локального запуска потребуется мощная видеокарта уровня Nvidia RTX 4090 с большим объемом памяти, хотя упрощенная версия может работать в 720p при 24 fps и на более «доступных» конфигурациях.
Комментарии