Сбер анонсировал Kandinsky WM 1.0 – новое поколение моделей, которое поможет обучать роботов, беспилотный транспорт и другие системы Physical AI. Система точнее соблюдает законы физики при создании роликов.
Kandinsky WM 1.0 решает проблему обучения физических ИИ-систем – нехватку качественных данных, отмечают разработчики в статье на Хабре. Миллионы часов реальных видеозаписей собрать практически невозможно, а многие важные ситуации – ДТП, экстремальная погода, отказы оборудования или нестандартное поведение людей – нельзя безопасно снять в реальных условиях. Kandinsky создает синтетические видео, которые впоследствии изучает, и на которых тестирует автономные системы.
Проект базируется на модели Kandinsky 5.0 Video Lite: её дополнительно обучили на многочисленных реальных видеозаписях с роботами, транспортом и процессами производства. В линейку вошли три специализированные модели: для дорожных сценариев, робототехники и сложных физических взаимодействий. При обучении разработчики использовали разные методы улучшения качества генерации, чтобы добиться более реалистичной геометрии объектов, естественной динамики и корректного поведения сцены.
Источник: Сбер
По данным Сбера, Kandinsky WM 1.0 уже применяется в собственном Центре робототехники и используется институтом AIRI при создании симуляторов для беспилотного транспорта. На внутренних испытаниях семейство моделей вошло в число лучших решений на международных бенчмарках для Physical AI, а в некоторых тестах превзошло сопоставимые по размеру зарубежные разработки.
Исходный код и веса моделей опубликованы под лицензией MIT и доступны бесплатно.
Комментарии