Превышение лимита нагрузки на хостинге: как найти ботов, которые перегружают сайт

Обсудить
Превышение лимита нагрузки на хостинге: как найти ботов, которые перегружают сайт
Реклама. АО «ТаймВэб». erid: 2W5zFJhogFC

Знакомая ситуация: сайт на виртуальном хостинге работал годами, а потом начал тормозить. В панели хостинга график нагрузки упирается в потолок тарифа, приходят письма о превышении, иногда страницы отвечают ошибкой 503 или 508. Первая мысль – сайт вырос, пора на тариф дороже или на VPS.

Иногда так и есть. Но часто сайт не вырос: людей столько же, а нагрузку дают программы, которые обходят его без остановки. Если в этом случае переехать на мощный сервер, боты просто съедят и его, а счёт за хостинг вырастет. Ниже – как отличить одно от другого и что сделать до переезда.

Как устроен лимит на виртуальном хостинге

На виртуальном хостинге на одном сервере живут сотни сайтов. Чтобы один не мешал остальным, у каждого есть лимит: сколько процессорного времени, памяти и одновременных процессов он может занять. Обычно его считают в «процентах процессора» или в условных единицах нагрузки. Превысил – хостинг сначала предупреждает, потом начинает притормаживать сайт, а при долгом превышении может ограничить его до разбирательства.

Важно понимать, что нагрузку создают не посетители как таковые, а запросы, которые требуют работы PHP и базы данных. Картинка или файл стилей почти ничего не стоят. А страница каталога с фильтрами, поиск по сайту или корзина – это десятки запросов к базе на каждое открытие. Поэтому тысяча запросов к картинкам проходит незаметно, а сотня запросов к поиску может положить сайт.

Шаг 1. Совпадает ли нагрузка с людьми

Откройте рядом два графика за последние две недели: нагрузку в панели хостинга и посещаемость в Метрике (или в любой другой системе статистики). Смотреть нужно на форму, а не на цифры.

Если графики похожи – пики нагрузки днём и вечером, провал ночью, рост после рассылки или рекламы, – нагрузку создают люди. Тогда помогут кэширование и оптимизация, а не защита от ботов. Возможно, сайт и правда вырос из тарифа.

Если не похожи – нагрузка высокая ночью, ровная круглые сутки или со всплесками, которых нет в посещаемости, – почти наверняка работают программы. Метрика большую часть ботов не видит: они не выполняют её счётчик. Поэтому в статистике людей всё спокойно, а сервер при этом занят.

Как выглядит нагрузка на сайт

Источник изображения: автор статьи

На картинке слева нагрузка (чёрная линия) повторяет посещаемость (зелёная) – растут люди. На картинке справа нагрузка высокая и ночью, когда людей почти нет, – работают программы. Серые полосы – ночь.

Третий вариант – нагрузка выросла скачком в конкретный день и с тех пор не падает. Вспомните, что тогда менялось: обновление модуля, новый фильтр в каталоге, импорт товаров. Иногда виноват не бот, а тяжёлая задача по расписанию.

Шаг 2. Найти, куда они ходят

На виртуальном хостинге журнал доступа обычно включается в панели управления, в разделе с логами сайта. Скачайте его за сутки и посмотрите не «кто», а «куда» – какие адреса запрашивают чаще всего:

awk '{print $7}' access.log | cut -d'?' -f1 | sort | uniq -c | sort -rn | head -20

А теперь то же самое, но с параметрами в адресе – именно они часто и выдают проблему:

awk '{print $7}' access.log | grep '?' | sort | uniq -c | sort -rn | head -20

Источник изображения: автор статьи

Так выглядит журнал сайта, который обходят боты: тысячи открытий страниц с фильтрами и поиском, а у корзины и обычных карточек – десятки. Адреса придуманы.

Типичные находки на хостинге выглядят так.

Фильтры каталога. Адреса вида /catalog/?color=red&size=42&sort=price. У фильтра из десяти свойств с несколькими значениями комбинаций получаются сотни тысяч, и каждая – отдельная тяжёлая страница. Поисковый робот или парсер, который нашёл ссылки фильтров, может обходить их неделями.

Источник изображения: автор статьи

Одна страница каталога, несколько фильтров со значениями – и уже тысячи адресов. Боты (красные квадраты) обходят их все, хотя покупателю нужны единицы.

Поиск по сайту. /search/?q=… с тысячами разных запросов. Часто это спам-боты, которые подставляют в поиск ссылки, чтобы страница результатов попала в индекс поисковиков.

Календари, сортировки, пагинация без конца. ?page=4381, ?date=2031-07-15 – страницы, которых по смыслу нет, но сайт честно собирает их из базы.

Админка и вход. Если нагрузку дают запросы к странице входа, это подбор пароля – о нём отдельно в разделе о защите своими силами, здесь он реже бывает главной причиной перегрузки.

Шаг 2. Проверить задачи по расписанию

Прежде чем винить ботов, исключите собственные задачи сайта. Их нагрузка тоже не совпадает с посещаемостью, и в журнале доступа её почти не видно.

Агенты 1С-Битрикс на хитах. По умолчанию Битрикс выполняет фоновые задачи – рассылки, пересчёт скидок, очистку кэша, обмен – во время открытия страниц посетителями. Когда задач много, каждая десятая страница вдруг открывается секундами, а нагрузка скачет. Лечится переводом агентов на выполнение по cron: в документации Битрикса это описано отдельно, на большинстве хостингов cron настраивается в панели.

Импорт и выгрузки. Обмен с 1С, загрузка прайса поставщика, выгрузка фидов на маркетплейсы. Если они запускаются часто и каждый раз перебирают весь каталог, это ровные «плато» нагрузки по расписанию.

Резервные копии и плагины безопасности. Архивация сайта средствами CMS и плагины, которые сканируют файлы, могут занимать процессор на десятки минут. Их лучше перенести на ночь или отдать хостингу: у многих тарифов копии делаются на стороне сервера и в лимит сайта не входят.

Если плато нагрузки совпадает по времени с такой задачей – дело не в ботах.

Шаг 3. Поисковые роботы: не запрещать, а направлять

Самая частая ошибка – увидеть в журнале робота Яндекса или Google и запретить его. Сайт тут же начнёт выпадать из поиска. Робота нужно не выгнать, а направить туда, где ему есть что индексировать.

Закройте бесконечные адреса в robots.txt. Если страницы фильтров и сортировок не нужны в поиске, запретите их обход:

User-agent: * Disallow: /*?sort= Disallow: /*&sort= Disallow: /search/

Подбирайте правила под структуру своего каталога и сверяйте в Вебмастере инструментом анализа robots.txt, чтобы случайно не закрыть нужные страницы.

Склейте параметры через Clean-param. Для Яндекса есть директива, которая говорит роботу, что адреса с такими параметрами – одна и та же страница. Например, метки рекламы:

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Crawl-delay для поиска больше не работает. Многие до сих пор пишут его в robots.txt, чтобы робот ходил реже. Основной робот Яндекса перестал учитывать эту директиву ещё в 2018 году, Google не поддерживал её никогда. Учитывает её только робот рекламной сети Яндекса, который определяет тематику страниц для рекламы. Если же много запросов создаёт поисковый робот Яндекса, скорость обхода настраивается в Вебмастере: «Индексирование» → «Скорость обхода», по умолчанию там стоит «Доверять Яндексу» (справка Вебмастера).

Проверить, что в журнале действительно робот Яндекса, а не программа, которая так назвалась, можно по способу из справки Вебмастера. Это стоит делать до любых решений: под поисковых роботов маскируются очень многие.

Шаг 4. Кэш – до защиты

Даже если нагрузку дают боты, первое, что окупается, – кэш. Страница, которую сайт собрал один раз и отдаёт готовой, стоит в десятки раз дешевле, и неважно, кто её запросил.

На 1С-Битрикс для этого есть композитный режим и кэширование компонентов – включаются в настройках, но после включения стоит проверить корзину и личный кабинет. Для WordPress – плагины страничного кэша. На многих хостингах есть кэширование на стороне сервера, его включают в панели. Общее правило: кэшировать страницы для неавторизованных посетителей и не кэшировать корзину, оформление заказа и личный кабинет.

Включить кэш мало – нужно убедиться, что страницы действительно отдаются из него. Проще всего посмотреть заголовки ответа:

curl -sI https://ваш-сайт/catalog/ | grep -i -E 'x-bitrix-composite|x-cache|cache-control'

У Битрикса с композитом в ответе появляется заголовок X-Bitrix-Composite, у серверного кэша хостинга – обычно X-Cache со значением HIT. Если заголовков нет, а время ответа не изменилось, кэш не работает, и искать причину нужно до того, как двигаться дальше.

Кэш не спасёт от ботов, которые ходят по уникальным адресам – тем самым бесконечным фильтрам и поиску. Поэтому шаг 3 и шаг 4 работают вместе: сначала закрываем бесконечное, потом кэшируем конечное.

Шаг 5. Когда VPS не поможет

Переезд на VPS даёт больше ресурсов и полный контроль: можно поставить свои правила веб-сервера, ограничить частоту запросов, настроить блокировки. Это правильный шаг, если сайт действительно вырос или если вам нужны эти настройки.

Но если нагрузку дают боты, а вы переедете и ничего не поменяете, произойдёт одно из двух. Либо мощности хватит, и вы будете платить больше за обслуживание программ, которые ничего не покупают. Либо ботов станет больше – им всё равно, сколько у вас ядер, – и упрётесь снова. Перед переездом стоит пройти шаги выше и посмотреть, сколько нагрузки останется.

Где у этих мер предел

Всё перечисленное хорошо справляется и с поисковыми роботами, которые заблудились в фильтрах, и с простыми парсерами. Хуже – с программами, которые ходят с тысяч разных адресов, запрашивают страницы в настоящем браузере и в журнале выглядят как обычные посетители. Ограничение по адресу их не видит, robots.txt они не читают.

С ними лучше справляется фильтрация до сервера: запрос проверяется раньше, чем дойдёт до сайта, и на отсечённых ботов сайт не тратит обращений к базе. Так работают защита от DDoS на стороне хостинга, CDN и отдельные сервисы проверки посетителей, которые подключаются сменой DNS-записей. Я делаю один из таких сервисов – HumanGate, поэтому вижу эту картину каждый день; но шаги из этой статьи стоит пройти до любого платного решения – они бесплатны и часто снимают проблему целиком.

Короткий чек-лист

  • Сравнить график нагрузки в панели хостинга с посещаемостью: похожи – растут люди, не похожи – работают программы.
  • Скачать журнал доступа и найти адреса, которые запрашивают чаще всего, – отдельно с параметрами.
  • Закрыть в robots.txt бесконечные фильтры, сортировки и поиск, склеить метки через Clean-param.
  • Убрать Crawl-delay, скорость обхода Яндекса настроить в Вебмастере.
  • Включить кэш страниц для неавторизованных посетителей, корзину и кабинет не кэшировать.
  • Проверить задачи по расписанию: агенты Битрикса на хитах, импорт, выгрузки, резервные копии – и не появился ли новый фильтр в тот день, когда выросла нагрузка.
  • Только после этого решать про тариф дороже или VPS.

Если узнали свою ситуацию, но не уверены, что именно у вас перегружает сайт, – пишите в комментариях, разберём.

Изображение на обложке: автор статьи

echo -e "Все про серверы, сети, хостинг и еще раз серверы" >/dev/pts/0

Комментарии

С помощью соцсетей
У меня нет аккаунта Зарегистрироваться
С помощью соцсетей
У меня уже есть аккаунт Войти
Инструкции по восстановлению пароля высланы на Ваш адрес электронной почты.
Пожалуйста, укажите email вашего аккаунта
Ваш баланс 10 ТК
1 ТК = 1 ₽
О том, как заработать и потратить Таймкарму, читайте в этой статье
Чтобы потратить Таймкарму, зарегистрируйтесь на нашем сайте