Компания Cloudflare рассказала про обновление для собственного сервиса Crawler Hints и подключение к проекту IndexNow, созданному Microsoft в тандеме с Яндексом.
По заверению Cloudflare, их продукт примерно на 45% повышает эффективность трафика, который поступает от веб-краулеров – утилит, ищущих и анализирующих страницы в интернете.
Crawler Hints дает краулерам подсказки. Технология сообщает поисковым ботам о наличии на сайте информации, которую они уже анализировали ранее, чтобы заново не сканировать страницу, когда в этом нет никакого смысла.
Обновление Crawler Hints включает в себя два важных изменения:
-
Во-первых, Cloudflare теперь поддерживает IndexNow – протокол, позволяющий веб-сайтам самостоятельно оповещать поисковые системы о появлении нового контента, который нужно повторно проанализировать. Компания заключила партнерство с Яндексом, DuckDuckGo и Microsoft, чтобы сделать работу поисковой инфраструктуры более эффективной.
-
Во-вторых, функция Crawler Hints теперь доступна всем пользователям Cloudflare без дополнительной платы. Активировать ее можно в личном кабинете в одно нажатие: нужно лишь открыть вкладку «Кэш» в дашборде Cloudflare и выбрать нужную опцию.
Пока что Crawler Hints находится в стадии тестирования. Cloudflare планирует усиленно работать, чтобы вывести эту технологию на более массовую аудиторию, подключив к проекту больше компаний, разрабатывающих и пускающих в сеть собственных краулеров.
Комментарии