В новом проекте Google снова не обошлось без нейросетей. В этот раз компания модернизировала проект NeRF (Neural Radiance Fields), который использовали для создания трехмерных моделей из двухмерных фотографий простейших объектов без сложного света. Теперь, благодаря Google, у этой нейросети почти нет ограничений.
Проект NeRF in the Wild за авторством инженеров Google стал заметно совершеннее. Технология позволяет захватывать структуру объектов на фотографиях, особенности освещения и другие детали. При этом между разными измерениями, запечатленными на фото, создается бесшовный переход, который не нарушает 3D-геометрию и создает модель без видимых переходов и искажений.
Также NeRF-W отдельно захватывает особенности геометрии и освещения. Так им удалось избежать заметных артефактов, связанных с влиянием освещения в кадре на 3D-геометрию изображенных объектов.
Предыдущая версия нейросети использовалась только для работы с небольшими объектами. Их заранее подготавливали к работе с NeRF. А вот нынешней достаточно отправить пару-тройку фотографий с Flickr, и она создаст из них полноценную объемную сцену.
Сейчас на странице проекта в ГитХаб можно посмотреть на модели Базилики Сакре-Кёр, Бранденбургских ворот и Фонтана Треви. Там же разработчики опубликовали более подробное описание технической составляющей Nerf-W, список файлов, которые использовались для создания первых трех 3D-моделей, и диссертацию по теме.
Комментарии