Как защитить сайт от ботов с помощью Cloudflare

Участились случаи, когда статистика показывает рост прямых заходов на сайт, а конверсии не растут. Иногда трафик взлетает и в поисковых системах, что выглядит подозрительным. При рассмотрении отчетов становится очевидно, что сайт подвергся атаке вредоносных алгоритмов. Если вовремя не предпринять нужных мер, это может негативно сказаться на ранжировании сайта в поисковой выдаче и его поведенческих факторах (ПФ). Специалисты digital-агентства «Директ Лайн» рассказывают, как защитить сайт от атаки.

Почему не все боты одинаково полезны

Говоря о том, что сайту требуется защита от ботов, стоит иметь в виду, что далеко не все из них – зло. Существуют полезные боты, которые помогают улучшить видимость и рейтинг сайта и способствуют его продвижению. К примеру, у Яндекса и Google есть свои поисковые боты для индексации веб-страниц и определения их ранжирования в выдаче. Эти боты сканируют сайт, чтобы определить его содержимое, структуру и ссылки на другие страницы. Оценка эффективности SEO-продвижения была бы невозможна без ботов мониторинга и аналитики.

В этой статье мы говорим не о них, а о вредоносных ботах, таких как:

• Боты для накрутки статистики – искусственно увеличивают количество посещений, просмотров страниц и другие метрики сайта. Они могут быть использованы для манипуляции статистикой трафика и создания иллюзии популярности или эффективности продвижения.
• Боты повторной накрутки – многократно посещают веб-сайт, обычно с использованием различных IP-адресов или прокси-серверов, чтобы создать видимость роста трафика.
• Боты с поддельными реферерами – отправляют запросы на веб-сайт, с указанием поддельного источника трафика (реферера). Это может создать впечатление, что ваш сайт получает трафик из популярных источников, таких как поисковые системы или социальные сети.
• Боты с поддельными юзер-агентами – отправляют запросы с поддельными данными о юзер-агенте (браузере и операционной системе). Создают иллюзию разнообразия источников трафика.
• Боты с автоматическими действиями – выполняют такие действия, как просмотр видео, клики по рекламным ссылкам или заполнение форм. Используются для манипуляции с метриками.

Боты фактически представляют собой алгоритмы, которые совершенствуются методами машинного обучения. Они могут быть направлены на сайт конкурентами, которые стремятся вытеснить вас из выдачи. Или недобросовестными SEO-специалистами, которые хотят показать быстрый результат. Кроме того, ваш сайт может стать площадкой для обучения ботов, так сказать, вытянуть несчастливый билет. Каким бы ни был источник вредоносного трафика, потребуется защита от накрутки, чтобы сохранить позиции и обезопасить сайт.

Как определить роботность сайта – частые признаки

Есть несколько признаков, по которым можно отследить роботный трафик и понять, что требуется защита сайта от ботов.

1. Рост показателей отказов

Если статистика показывает внезапный рост отказов от стандартно допустимых 10% до запредельно высоких 50-60% и выше, есть повод задуматься. Такой трафик может негативно повлиять на поведенческие факторы.

Здесь нужно держать в уме оговорку: роботный трафик не всегда дает повышение процента отказов. Некоторые боты настолько хорошо имитируют действия реальных пользователей сайта, что отказы могут даже снижаться. В этом случае атака на сайт производится не с целью понизить его видимость, а для обучения ботов нужным поведенческим навыкам. Отработав алгоритмы на нашем сайте, создатели будут использовать более совершенных ботов уже в своих интересах. До какой-то степени это может играть нам на руку. Но ориентироваться только на показатели отказов не стоит. На фоне таких атак могут снижаться другие показатели: глубина просмотра, продолжительность сессии и т.п.

2. Рост трафика с определенных устройств

Если при резком росте трафика его основная доля приходится на мобильные устройства, вероятнее всего, мы имеем дело с ботами, требуется защита от накрутки ПФ.

3. Рост трафика из определенного региона

Если вы оказываете услуги и продвигаетесь в одном регионе, а внезапный шквал трафика идет из другого. Чаще всего рост прямых заходов в Яндекс Метрике отслеживается из Москвы и Московской области.

4. Страницы входа

Здесь могут быть варианты. Например, нетипично сильный прирост по нескольким страницам. Иногда это могут быть даже страницы с ошибкой 404.

Другой возможный сценарий, когда на большой пул страниц приходится примерно одинаковый рост трафика. При этом другие страницы сайта показывают более спокойную, естественную динамику без резких скачков.

5. Показатели роботности в Яндекс Метрике

Счетчики в Яндекс Метрике дают возможность отслеживать трафик с ботами и без них. Этот атрибут подключается в настройках, по нему можно увидеть, что роботный трафик растет.

Мы перечислили основные критерии, по которым можно понять, что всплески трафика не являются естественными. В следующей части расскажем о сервисе, который позволяет обеспечить защиту сайта от ботов.

Что такое Cloudflare и зачем он нужен

Cloudflare WARP – это сервис, предоставляемый компанией Cloudflare, который помогает обеспечить безопасность интернет-подключения. Он защищает трафик от атак и нежелательного слежения.

Защита от ботов Cloudflare обеспечивается различными настраиваемыми инструментами сервиса, бесплатными и платными. Мы протестировали возможности сервиса и пришли к выводу, что настраивать все возможные инструменты защиты не имеет смысла.  Как правило, бесплатного тарифа вполне достаточно, чтобы ограничить доступ нежелательным ботам. При этом важно с умом подойти к точечной настройке, потому что отдельные инструменты могут выставлять ограничения и для обычных, живых пользователей, потенциальных клиентов.

Какие инструменты Cloudflare стоит использовать

Мы рекомендуем настраивать следующие правила:

1. Открыть доступ к «белым» ботам. Здесь мы говорим о полезных ботах ПС, социальных сетей и т.п. Этим ботам можно и нужно посещать сайт для корректного ранжирования. Мы руководствуемся списком ботов, при необходимости можем прописать точечное правило доступа для конкретного бота.
2. Закрыть доступ из других стран. Если есть четкое ограничение географии бизнеса, и мы понимаем, что трафик из других стран, кроме, например, России, не нужен. Он только увеличит процент отказов, лучше не допускать этого.
3. Установить капчи для трафика с IPv6 или по http-протоколу. Как правило, их используют для защиты от накруток и парсинга данных с сайта.
4. Подключить JS-проверку трафика с протоколами ниже http/2. Попадая на такую проверку, отсекаются перечисленные выше боты-паразиты, а также DDoS-боты и пр.
5. Закрыть доступ ботам-краулерам. Такие боты могут создавать дополнительную нагрузку на сайт. Можно настроить правила для конкретных ботов, чтобы ограничить им доступ, например, для AhrefsBot.

Мы рекомендуем нашим клиентам использовать возможности Cloudflare. Это позволяет не только выставить защиту от ботов-вредителей и повысить эффективность интернет-продвижения, но и сохранить работоспособность сайта в случае попытки DDoS-атаки.

Как выглядит статистика Cloudflare

Всю информацию по трафику, поступающему на сайт, можно увидеть в статистике Cloudflare.

Статистика Cloudflare показывает:

• какой трафик был допущен на сайт;
• какой трафик был заблокирован;
• на какую страницу пришелся трафик;
• данные IP;
• данные юзер-агента;
• данные о географии посетителей.

Оперируя данными статистики, мы можем производить дополнительные настройки, открывать или закрывать доступ конкретным ботам. 

Как работает защита от ботов Cloudflare: примеры

Мы подключили Cloudflare к части проектов, заметив аномальный рост трафика не только по прямым заходам, но и по ПС. На скрине ниже видно, что стартовые настройки снизили трафик практически до первоначальных показателей через сутки.

При этом роботный трафик на отдельные страницы ушел не сразу, даже несмотря на то, что одна из них выдавала ошибку 404. Он снижался в течение месяца и постепенно ушел в ноль. Вероятно, «нагульщик» ботов понял, что его усилия бесполезны, и остановил накрутку.

По нашим наблюдениям, Cloudflare дает достаточно хорошую защиту от нагула ботов, то есть того самого обучения определенным поведенческим характеристикам для дальнейшего подключения к сайту заинтересованных в этом лиц. А также от скрутки поведенческих факторов, когда отказы сильно увеличиваются.

Однако надеяться на стопроцентный эффект не стоит. Часть ботов может просто не попадать под правила Cloudflare. В таком случае следует подключить технических специалистов. Они могут дополнительно проанализировать и ограничить доступ к определенному пулу ip-адресов или разработать новые правила для защиты от ботов в Cloudflare. 

Важно! Отслеживайте все виды трафика: ПС, прямые заходы, внутренние переходы и ссылки с других сайтов. Часть настроек может ударить по обычным пользователям. Если заметите критичное снижение по другим источникам и будете уверены, что это не роботный трафик, а обычный, стоит детально проанализировать текущие настройки. Нельзя ограничивать доступ к сайту пользователям, которые потенциально могут купить товар или услугу.

Как еще можно защитить сайт от ботов

Дадим еще пару советов, как обезопасить ваш сайт от вредоносных роботов:

• Выбирайте добросовестных специалистов по интернет-продвижению. Алгоритмы ботов постоянно совершенствуются, рано или поздно трюки недобросовестных оптимизаторов попадают под фильтры поисковых систем. Поэтому важно убедиться в благонадежности специалистов до того, как вы откроете доступ к управлению сайтом. Работая с «Директ Лайн», вы можете избавить себя от лишних переживаний. В стратегиях продвижения мы не используем серые методы и никогда не допускаем манипуляций с трафиком.
• Следите за динамикой показателей продвижения. Убедитесь, что в Яндекс Метрике активированы настройки фильтрации роботности. Проводите регулярный мониторинг соотношения роботного трафика, показателей отказов и позиций в поисковой выдаче. Изучайте ежемесячные отчеты и задавайте вопросы специалистам, если какие-то пункты не ясны.
• Поддерживайте связь со службой поддержки Яндекса. В любой подозрительной или непонятной ситуации, связанной с продвижением в поисковой сети Яндекс, вы можете напрямую обратиться в службу поддержки и получить объективную обратную связь. Мы рекомендуем это нашим клиентам по двум причинам. Во-первых, это повод удостовериться, что мы не причастны к серым методам и не занимаемся накруткой. Во-вторых, это возможность обратить внимание представителей сети на вероятных накрутчиков и ускорить наложение санкций на недобросовестных оптимизаторов.