В Google разработали токен Google-Extended для файла robots.txt. Он позволит алгоритмам поисковика включить сайт в результаты выдачи, но не разрешит использовать его содержимое для обучения моделей ИИ – вроде чат-ботов Bard и Vertex AI.
Как пишет Хабр, при создании ограничений для обучения нейросетей индексация ресурса в Google продолжится без изменений. Этим решением в компании хотят обеспечить прозрачность и контроль в использовании ИИ-моделей.
Даниэль Ромен, вице-президент корпорации Google по доверию, отмечает, что корпорация планирует сотрудничать с сообществами веб-разработчиков и специалистов в области ИИ, чтобы исследовать дополнительные методы контроля по использованию контента сайтов нейросетями.
Кроме того, владельцы сайтов также могут заблокировать сканер GPTBot компании OpenAI, которая является создателем популярного ИИ-бота ChatGPT, а также других алгоритмов на основе нейросетей, – об этом компания сообщила в августе текущего года.
Комментарии