Что такое черный список URL-адресов Google и какие сайты в него попадают

Поговорим о черном списке URL-адресов Google. О скрытой антологии некачественных веб-ресурсов от самого крупного поисковика в интернете. 

Что за черный список URL-адресов?

Google.com без преувеличения является популярнейшим сайтом на планете, через который люди попадают на другие сайты. На поисковике лежит большая ответственность за безопасность, потому он зачастую самостоятельно решает, какие сайты можно посещать, а какие не стоит. 

Как можно догадаться, в черный список попадают неблагонадежные сайты, от которых Google пытается уберечь своих пользователей. Чтобы те случайно не словили вирус, не связались с мошенниками или случайно не увидели какой-нибудь неподобающий контент. 

Google регулярно сканирует все веб-страницы из своей огромной базы данных и пополняет черный список. Задача вебмастеров, администраторов и разработчиков – сделать все, чтобы не оказаться среди худших и не вылететь из поисковой выдачи самого главного веб-ресурса в интернете.

Что произойдет с сайтом, если он попадет в черный список?

Если верить данным CNN, то Google отправляет в бездну около 10 000 сайтов ежедневно, но вы никогда не увидите в сети плашку с надписью «Этот сайт оказался в черном списке Google, не заходите сюда». Как эти сайты выглядят и что вообще происходит после попадания страницы в тот злополучный список изгоев? Тут три варианта:

1. Браузер пожалуется на то, что сайт заражен вирусом.

2. Браузер сообщит, что сайт связан с мошенниками, и поэтому на него лучше не заходить.

3. Сайт будет помечен как взломанный.

Рассмотрим три сценария подробнее.

«Ваше подключение не защищено»

Иногда эта надпись заменяется сообщением по типу «Этот сайт заражен вирусом». Под вирусом тут понимается любое вредоносное программное обеспечение, способное навредить компьютеру или смартфону человека, решившего посетить зараженный сайт. 

У Google есть инструменты для поиска вредоносного ПО в сети, и компания, обнаружив угрозу, может отправить страницу в черный список. Поэтому разработчикам и администраторам стоит регулярно проверять свое детище на наличие в нем потустороннего подозрительного кода. Для этого нужно использовать хороший антивирус и продвинутые методы шифрования данных. 

«Вы пытаетесь зайти на мошеннический сайт»

Под мошенническими и подозрительными сайтами подразумеваются сайты, пытающиеся обмануть либо пользователей, либо Google. В обоих случаях такой ресурс ждет блокировка. 

Google не любит сайты, на которых:

• Есть кнопка для проигрывания видео, которая на самом деле приводит к скачиванию файлов (возможно, с вирусами). 

• Есть ссылки, перенаправляющие посетителей в неожиданные места. То есть не по тем адресам, что заявлены на странице.

• Есть рекламные блоки с фальшивой информацией. Например, они рекламируют один продукт, а при клике по баннеру отправляют в каталог к совершенно другому.

Вот такого рода сайты помечаются как мошеннические. 

«Возможно, этот сайт взломан»

Сообщения о потенциальном взломе веб-сайтов появляются прямо на сайте Google. Когда вы вводите поисковой запрос, то получаете в ответ список релевантных ссылок. И вот под ссылкой на взломанную страницу появится небольшое сообщение, недвусмысленно намекающее на хакерскую атаку.

Заприметив подобную табличку под ссылкой, пользователь вряд ли захочет переходить по этому URL.

Почему Google может отправить сайт в черный список?

Есть четкие последовательности действий, приводящие к попаданию в блэклист (иногда владелец веб-ресурса следует им неосознанно), а также нюансы, о которых многие администраторы не знают и потому сходят с ума, пытаясь выяснить причину попадания их проекта в черный список. 

Черные методики SEO-продвижения

Если вы (или ваш SEOшник) – поклонник черных схем продвижения, то можете не надеяться, что подружитесь с Google. Поисковик в кратчайшие сроки направит ваше детище в чистилище для низкосортных сайтов. Нельзя:

• Делать кучу страниц с редиректами на ваш сайт по нерелевантным ключевым запросам (создавать так называемые дорвеи).

• За деньги просить других администраторов делать переадресацию или размещать URL на ваш проект. 

• Внедрять в статьи на странице ключевые запросы, не соответствующие теме и вставленные в текст с целью подняться в поисковой выдаче. 

• Обманным путем принуждать пользователей переходить по тем или иным адресам для повышения популярности собственного сайта.

Проблемы с авторскими правами

Авторов текстов в интернете не просто так просят проверять публикуемые материалы через антиплагиат-сервисы. Полностью украденный у других копирайтеров материал Google воспримет негативно. Заметив, что вы используете чужой контент и не несете пользы своим читателям, поисковой гигант тут же отправит вас в блэклист.

То же касается изображений из сети. Вы могли случайно вставить в пост картинку, защищенную авторским правом. И Google, узнав об этом, может исключить как страницу, так и целый домен из поисковой выдачи. 

Так что не брезгуйте использовать Unsplash и Freepik вместо Google Images или Яндекс.Картинок.

За публикацию пиратских фильмов, игр или программ тоже можно угодить в блок, но уже другого формата. Ваш сайт просто исчезнет из поисковой выдачи, а на странице Google появится соответствующее пояснение.

Сайт был взломан или заражен вирусом

Разного рода проблемы с безопасностью тоже ведут к попаданию в черный список. Если переход на одну или несколько страниц вашего веб-ресурса может привести к заражению чужого ПК, то надо лечить сайт как можно скорее. 

Есть вероятность, что ваши доступы были украдены злоумышленниками. Взломав сайт, они получили доступ к его файлам и внедрили туда вирус, троянскую программу или другое вредоносное ПО. 

При этом вы можете вообще быть не в курсе ситуации. Если не следите за состоянием сайта и не используете автоматизированные системы защиты, то и не узнаете, что ваш ресурс «увели» и превратили в рассадник угрозы для компьютеров ни в чем не повинных людей. 

Контент, нарушающий правила Google

Не забываем о том, что все материалы, попадающие в сеть, цензурируются. Где-то сильнее, где-то слабее. Google этим тоже занимается и старается не допускать в сеть статьи, фото или видео, нарушающие закон страны, в которой работает.

Естественно, от страны к стране список запрещенных материалов может варьироваться. Где-то нельзя загуглить даже информацию о правах женщин (привет, Иран), а где-то запрещена только антиправительственная пропаганда. Несмотря на всеобщую глобализацию, Google четко следует указаниям правительств и не дает людям искать в сети неугодные данные. В Китае, например, для этого вообще сделали отдельную поисковую систему, не особо похожую на версию для США или РФ.

Что делать, если сайт попал в черный список?

Итак, если при переходе на ваш сайт люди видят устрашающий красный экран с оповещением о грядущей угрозе, то вы угодили в blacklist. Предотвратить это уже нельзя, а значит, надо исправлять. Зачастую это реализуется достаточно просто. Сама Google заинтересована в вашем триумфальном возвращении в поисковую выдачу. 

Рассмотрим 5 основных способов вернуть себе доброе имя в интернете. 

Проверить Google Search Console

Первое, что надо сделать – зайти на страницу Google Search Console и посмотреть, не отображаются ли в ней какие-то сообщения о проблемах в обеспечении безопасности ресурса. Оповещения об ошибках обычно появляются в разделе с уведомлениями. 

Если ваш проект попадет под фильтр Гугла, то сама поисковая система вам об этом скажет (если будет в курсе проблемы, конечно).

Что самое прекрасное, Google не просто оповещает о наличии проблемы, а еще и отправляет инструкцию по исправлению возникших неурядиц.

Зайдите на сайт Google Transparency Report

Проверив Google Search Console, стоит посетить еще одну похожую информационную панель с данными о ваших веб-проектах. Google Transparency Report – это сервисная служба, на постоянной основе мониторящая состояние ресурсов и рассказывающая обо всех ошибках и сбоях, что происходят в ходе работы. 

Есть вероятность, что GTR найдет вирус, троянскую программу или другого рода угрозу на сайте и предложит вариант по ее устранению. Или хотя бы расскажет, какая из страниц привела вас к попаданию в черный список.

Подтвердите права на выбранное доменное имя

По ходу возникновения различных проблем (их редко удается избежать) у Google могут возникнуть сомнения по поводу того, действительно ли вы все еще владеете приобретенным доменом или у вас его украли. 

На пустом месте такие подозрения не возникают, но бывают сбои в работе даже таких отточенных механизмов, как Google. Подтвердить свои права на доменное имя можно через страницу верификации в Google Search Console.

Сервис попросит подключить к сайту HTML-тег, обратиться к хостингу, внедрить в код ресурса специальный сниппет и т.п. Если этого не сделать, то спустя какое-то время Google заблокирует доступ к Search Console.

Отключите CMS-плагины 

Если ваш сайт построен на базе WordPress, Joomla, Drupal или другой популярной системы управления данными, то стоит временно отключить плагины. 

Отключить и оценить ситуацию. Если без подключенных расширений сайт работает корректно, не вызывая у Google подозрений, то нужно их поочередно включить, чтобы выяснить, какое дополнение не нравится поисковой системе и почему. Google Search Console сразу отреагирует на появление бракованного плагина.

В сети регулярно появляются новости о новых «дырах» в безопасности, обнаруженных в плагинах WordPress. Поэтому нужно быть начеку.

Установите систему защиты на свой сайт

Самый простой способ защитить свой сайт от попадания в черный список из-за вирусов – установить защиту. Для этого есть аудиторские сервисы в духе Sucuri, следящие за состоянием сайта, внешними подключениями и внедрением подозрительного кода в скрипты. Также можно установить WordPress-плагин для защиты от распространенных вирусных угроз, часто нападающих на веб-ресурсы. Или воспользоваться онлайн-антивирусом.

Сервисы типа Sucuri защищают эффективнее и гарантируют качественный результат. Правда, они стоят больших денег. Защита одного сайта обойдется минимум в 200 долларов, и это без поддержки SSL-протокола.

Как вывести сайт из черного списка Google

После того как вы проверили свой сайт вдоль и поперек, нашли и удалили все вирусы, избавились от скопированных статей или украденных медиафайлов, а также полностью перешли на «белое» SEO-продвижение, пора возвращаться в Google:

• Заходим в панель управления Google Search Console.

• Открываем страницу «Security Issues».

• Смотрим на отчет. Пропали ли из раздела с оповещениями уведомления о неисправностях. 

• Если пропали, то переходим к следующему шагу и нажимаем на кнопку «Request a Review». 

• В запросе описываем внесенные изменения и причину, почему сайт достоин находиться в поисковой выдаче Google.

Сотрудники корпорации проведут проверку ресурса на наличие в нем проблемного контента и, если не найдут чего-то страшного, вытащат сайт из черного списка. Эта процедура может занять несколько дней.

Вместо заключения

Как видите, из черного списка Google несложно выбраться, а причины попадания в него относительно ясны. Но лучше туда не попадать. На маленький блог это может особо не повлиять, а вот у более крупного сайта могут возникнуть репутационные проблемы. Процесс восстановления ресурса может затянуться, и тогда его владельцы потерпят реальные убытки. Так что лучше заранее задуматься о безопасности и строго чтить правила Google.