Добрый вечер.
Возникла такая неприятная ситуация. Хостер (Timeweb) прислал письмо
Мы обнаружили, что Ваш аккаунт *** оказывает чрезмерную нагрузку на сервер. Возможно, Ваш проект стал более посещаемым или в работе сайта что-то пошло не так. На сервере виртуального хостинга чрезмерная нагрузка, оказываемая одним аккаунтом, может негативно сказаться на работе всего сервера, поэтому эту проблему важно оперативно решить.
В панели хостера видно, как с начала мая нагрузка на CPU выросла до 120 cp в сутки. Было 20-40 cp. Нагрузка на MySQL тоже заметно выросла с 20-50 до 200.
На аккаунте 1 сайт с посещаемостью чуть менее 2000 (движок textpattern + форум на punbb) и 6 совсем мелких, почти не посещаемых. Никаких работ, которые могли бы увеличить нагрузку, на сайте не проводилось, посещаемость тоже не росла. По логам посещаемого сайта видно, что на него создавал нагрузку AhrefsBot и некоторые другие боты. Было много запросов вида:
217.182.132.188 - - [11/May/2017:06:32:58 +0300] "GET /forum/new-reply205quote5271.html HTTP/1.0" 200 5710 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"
Добавила в .htaccess
RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^.*(Ahrefs|SolomonoBot|SearchBot|MJ12bot).* [NC] RewriteRule .* - [F,L]
Сервер стал отдавать не 200 ответ, а 403:
51.255.65.80 - - [12/May/2017:00:27:22 +0300] "GET /forum/new-reply5quote26628.html HTTP/1.0" 403 219 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"
Еще смутило на странице Hosts в awstats множество ip-адресов с маской 95.163.*.*, которые грузят чуть ли не по 1000 страниц:
Total : 0 Known, 2,314 Unknown (unresolved ip) - 2,312 Unique visitors Pages Hits Bandwidth Last visit 95.163.*.* 990 990 20.94 MB 12 May 2017 - 00:15 95.163.*.* 974 974 20.90 MB 12 May 2017 - 00:15 95.163.*.* 971 971 20.64 MB 12 May 2017 - 00:15 95.163.*.* 970 970 20.45 MB 12 May 2017 - 00:15 95.163.*.* 969 969 20.36 MB 12 May 2017 - 00:15
И таких адресов около 50 штук. Все лазят по страницам форума. Запросы вида:
95.163.137.144 - - [11/May/2017:07:52:06 +0300] "GET /forum/post27277.html HTTP/1.0" 200 11678 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36"
У меня возник ряд вопросов, с которыми прошу помочь.
- Почему нагрузка могла так неожиданно вырасти?
- AhrefsBot я правильно заблокировала? Он теперь нагрузку на сервер не будет создавать?
- IP-адреса с маской 95.163.*.*- это граббер?
- Что еще можно посмотреть, чтобы понять, почему нагрузка так увеличилась?
Спасибо заранее.
Ответы (2)
Насколько помню, punbb позволяет блокировать диапазон IP встроенными средствами.
Администрирование - Пользователи - Блокировки
Далее - заблокировать пользователя по имени и блокировать по IP-адресу
Нагрузка сразу заметно снизилась.
Похоже все-таки какой-то парсер или хрумер гулял по сайту.