Газарян Вадим Викторович
ГАЗАРЯН И ПАРТНЁРЫ, Управляющий партнёр компании, консультант Газарян Вадим Викторович
11
496
Поделиться:

11 комментариев

Asylum
21.08.2017 10:46

Вы забыли упомянуть про кэширование. В этом случае страница выдается из файла и нет обращения к базе, также не затрачивается время и ресурсы сервера на генерацию.
Особенно кэширование на стороне клиента

Asylum
21.08.2017 10:50
ГАЗАРЯН И ПАРТНЁРЫ, Управляющий партнёр компании, консультант Газарян Вадим Викторович

Да, разумеется, спасибо за идею и отклик, кеширование обязательно.
Я пользуюсь опцией: "Прогрессивное кэширование"

Asylum
25.08.2017 19:27

Могу посоветовать плагин jch optimize, позволяет объединить и минимизировать JS и CSS, уменьшить размер ХТМЛ и еще ключа плюшек

Ruslan Balkin
23.08.2017 17:24

Единственное, что может позволить перемолоть практически любой наплыв посетителей без нагрузки на сервер - кэширование статических файлов. Само кэширование сделать просто, сложнее с тем, чтобы стирать кэш в случае устаревания файлов. Для хостинга и готовой CMS только экспериментировать с плагинами или писать свой.

Для выделенного сервера я предпочитаю настраивать вручную несколько правил на nginx. Максимум был почти миллион хитов в сутки. Да, с программистско-оптимизаторской точки зрения это "читерство", зато позволяет на неоптимизированном коде серверу не падать от слэшдот/хабраэффекта/пауэрофтупичок.

ГАЗАРЯН И ПАРТНЁРЫ, Управляющий партнёр компании, консультант Газарян Вадим Викторович

Круто, пауэрофтупичок

Alexey Zhukov
26.08.2017 21:50
Moscow, WebMaster

Добрый день. Воспользовался советом автора публикации и разместил файл robots.txt в корневых папках своих сайтов с содержимым, которое указано в статье. Ссылка на скриншот действия волшебного элексира снижения нагрузки: https://fotki.yandex.ru/next/users/myshakhovskaya/album/552796/view/1581227
В файл я добавил ещё строчку:
User-agent: *
Crawl-delay: 10
Кстати, ещё можно отвадить краулеров и ботов от нежелательных и, в общем, не нужных для них папок сайта (надо только подумать каких именно). Примеры - в статье на википедии посвящённой файлу robots.txt и как с ним работать.
Вадим Викторович - спасибо Вам большое за ценную публикацию! Благодаря Вашей статье мне удалось снизить нагрузку на свои сайты (в денежном эквиваленте - это экономия 80 р. в месяц за увеличение лимита, всё видно на скриншоте).

ГАЗАРЯН И ПАРТНЁРЫ, Управляющий партнёр компании, консультант Газарян Вадим Викторович

Спасибо за добрые слова, Алексей!

Alexey Zhukov
05.09.2017 17:56
Moscow, WebMaster

Вот, обнаружил списочек web-пауков. Может кому пригодится :-)
almaden.ibm.com
abachobot
accoona-ai-agent
addsugarspiderbot
arachmo
baiduspider
becomebot
beslistbot
bimbot
bingbot
dataparksearch
dotbot
envolk[its]spider
exabot
fast enterprise crawler
fast-webcrawler
furlbot
fyberspider
galaxybot
gigabot
girafabot
googlebot
googlebot-image
holmes
ia_archiver
ichiro
igdespyder
irlbot
l.webis
larbin
ldspider
lexxebot
linguee bot
linkwalker
lmspider
lwp-trivial
mabontland
magpie-crawler
mediapartners-google
mj12bot
mnogosearch
mojeekbot
moreoverbot
morning paper
msnbot
mxbot
netresearchserver
netseer crawler
newsgator
ng-search
nicebot
noxtrumbot
nutchcvs
obot
oozbot
orangebot
polybot
psbot
pycurl
scoutjet
scrubby
seekbot
seochat::bot
seznambot
shim-crawler
shopwiki
shoula robot
silk/1
snappy
sogou spider
sosospider
speedy spider
stackrambler
suggybot
synoobot
teoma
thumbnail.cz robot
tineye
turnitinbot
twengabot
urlfilebot
vagabondo
voltron
websquash.com
yacy
yahoo! slurp
yahooseeker
yandexbot
yandeximages
yeti
yodaobot
youdaobot
zealbot
zyborg

ГАЗАРЯН И ПАРТНЁРЫ, Управляющий партнёр компании, консультант Газарян Вадим Викторович

Отличная коллекция рептилий

ГАЗАРЯН И ПАРТНЁРЫ, Управляющий партнёр компании, консультант Газарян Вадим Викторович

Добавил в свой список блокировки 8 экземпляров. Если вы не уверены, что вам нужны все блокировки, спросите у специалистов сообщества.
У меня, например, разрешены боты русскоязычного поиска:
bingbot,
googlebot,
googlebot-image,
yandexbot.
А нагрузка на 8 сайтов при этом не больше 8 cp.
(Была до блокировки 160 cp).