Nvidia представила Lyra 2.0 – модель для генерации интерактивных 3D-миров. В отличие от аналогов наподобие Genie 3, которые позволяют генерировать только визуальную часть сцены, новая разработка создает полноценную трехмерную структуру – с объектами и полигональными сетками для дальнейшей работы.
Lyra 2.0 позволяет перемещаться внутри сгенерированного пространства: пользователь управляет камерой, а система постепенно достраивает окружение. Даже если отойти далеко и вернуться, детали остаются прежними – модель удерживает пространственный контекст и избегает типичной для ИИ потери памяти о ранее созданных объектах.
Источник: NVIDIA (здесь и на обложке)
Технологически решение основано на генерации видео с последующим подъемом в 3D-сцену. На выходе пользователь получает набор данных, которые можно экспортировать в игровые движки, симуляторы и инструменты для робототехники. Заявлена поддержка NVIDIA Isaac Sim – платформы для моделирования поведения роботов в виртуальной среде.
Модель построена на базе видеогенератора Wan 2.1 от Alibaba и насчитывает около 14 млрд параметров. Она оптимизирована для работы на ускорителях H100 и GB200. Код и веса Lyra 2.0 уже опубликованы на GitHub и Hugging Face, они доступны только для научных исследований.
Комментарии