Как удалить неактуальную информацию из поисковой выдачи

Рассказываем о том, почему нужно удалять неактуальную информацию из поисковой выдачи и как это сделать. 

Зачем удалять информацию из Google?

Причина состоит в том, что любые данные в сети стремительно устаревают, причем на совершенно разных сайтах.

Интернет-магазины

Список товаров может постоянно меняться. Огромное количество продуктов, техники и мебели исчезает с прилавков, и информацию об этом нужно донести до покупателей. Зачастую магазины просто оставляют на сайте заглушку с надписью «Товар закончился», но иногда нужно полностью удалить страницу товара. 

Новостные сайты

Любая статья на новостном ресурсе быстро стареет. Поэтому иногда их полезно подчищать, убирая старье, которое только мешает, а не генерирует новых посетителей. 

Крупный бизнес

Некоторые ресурсы находятся под постоянным контролем надзорных органов. Чтобы у них не возникло проблем с госструктурами, администраторам ресурса приходится держать на сайте исключительно актуальную и точную информацию. 

И таких вариантов много. Существуют десятки типов контента, которые необходимо вовремя удалять из поисковой выдачи, так как их нахождение там может негативно сказаться на бизнесе или SEO-показателях ресурса. Например, попадание в поисковики страниц с чьей-то персональной информацией, паспортными данными или другими личными файлами, а также появление в выдаче «несуществующих» адресов, которые очень не нравятся пользователям и поисковым ботам Google и Яндекса. 

Почему в Google и Яндексе появляются несуществующие страницы?

• Если вы удалили со своего сайта контент, но не попросили поисковую службу сделать повторный обход, чтобы добавить в результаты поиска актуальную информацию. 

• Если вы изменили URL страницы, но забыли оповестить об этом поисковые системы. Они отобразят в выдаче некорректные данные, а пользователи после перехода по ссылке будут оказываться на другой странице или вовсе получать в ответ ошибку.

• Кто-то разместил внешнюю ссылку на ваш ресурс в искаженном виде (некорректный или устаревший адрес). 

Как удалить устаревший контент из поисковой выдачи?

Удаление неактуальных данных из сети – довольно распространенная процедура. И есть целый список техник, позволяющих эту информацию «стереть». Выбор зависит от поисковой службы, ваших навыков, времени, цели и желания разобраться в вопросе.

Яндекс.Вебмастер: «Удалить URL»

У Яндекса для удаления устаревших страниц есть отдельная опция в интерфейсе Вебмастера. Перед тем как воспользоваться этой функцией, необходимо скорректировать параметры в файле robots.txt. Это документ, в котором содержится информация для поискового бота, анализирующего все страницы в сети. 

Так вот, в этом документе нужно указать директиву Disallow. То есть прописать:

User-agent: Yandex
Disallow: /moy-sait 

Такой код запретит боту анализировать все страницы, в URL которых содержится moy-sait. 

Затем нужно корректно настроить ответ сервера. Чтобы при посещении «удаленной» страницы, пользователь видел ошибку 404 с соответствующим уведомлением о том, что страница больше не существует.

После этого можно полностью удалить страницу из поиска, прописав ее адрес в специальном интерфейсе Яндекс.Вебмастера. Сделать это могут только пользователи с подтвержденными правами администратора. 

Процесс может занять длительное время. Состояние удаляемых страниц отображается в специальной панели управления в Яндекс.Вебмастере. Каждый день можно удалять не более 500 адресов. 

Google Search Console URL Removal Tool

У Google есть аналогичный инструмент для удаления страниц из результатов поиска. Чтобы им воспользоваться, нужно иметь учетную запись в Google Search Console с подтвержденными правами на владение сайтом. Только после этого можно делать запрос на удаление. 

Если страница, которую вы хотите скрыть из поисковой выдачи, теперь не существует, надо подать запрос на официальном сайте Google, дабы удалить ее из результатов поиска.

noindex

Универсальный способ сокрытия URL из результатов поиска. Он заключается в установке тега noindex в HTML-коде страницы. Этот тег блокирует работу роботов Google и Яндекса, пытающихся проанализировать контент на странице и вывести его в поисковую выдачу. 

Чтобы настроить noindex:

• Открываем HTML-файл страницы, адрес которой нужно скрыть из сети.

• Прописываем в meta-тег:

<meta name="robots" content="noindex"/> 

…или…

<meta name="googlebot" content="noindex"/> 

…если нужно заблокировать конкретного бота, а не всех сразу.

• Сохраняем изменения.

После этого поисковые роботы будут обходить выбранную страницу стороной. 

Также noindex можно настроить через плагины для WordPress. Соответствующая опция есть в дополнении Yoast. В расширенных настройках приложения есть опция «Allow search engines to show this Blog Post in search result». В ней можно указать страницы, которые необходимо скрыть.

Редиректы 301 и 302

Еще один вариант убрать страницу из результатов поиска – настроить переадресацию. Разберем, как это работает на примере. У вас есть страница какого-нибудь товара, который больше не поступит в продажу. Вы точно знаете, что вам не нужно индексировать этот URL, готовы полностью скрыть его с глаз поисковиков и предоставить пользователям альтернативный вариант. Для этого можно настроить переадресацию на другую страницу с наиболее подходящим товаром.

301-редирект лучше использовать для страниц, которые нужно удалить совсем. А 302-редирект для тех страниц, что нужно оставить в поиске (например, временно отсутствующие товары).

Чтобы настроить переадресацию:

• Генерируем код для редиректа с помощью специального сервиса, указав нужные ссылки.

• Затем открываем файл .htaccess и вставляем туда сгенерированный для редиректа код. 

• Сохраняем изменения.

При желании можно воспользоваться WordPress-плагинами в духе Redirect и Redirection. 

Сделать заглушку

Иногда удалять страницу вовсе не обязательно. Если вам мешает URL, ведущий на временно неактуальный контент, то можно попытаться его слегка отредактировать. Известный SEO-специалист Джо Джонсон приводит в пример страницу с информацией о Черной Пятнице, большой ежегодной распродаже. Он считает, что по завершении акции можно не удалять страницу, а поставить на ней заглушку, отображающую дату следующей распродажи. 

Такой подход позволяет не терять позиции страницы. Многие магазины держат подобные URL, чтобы оставаться на первых местах при ранжировании в поисковой выдаче. И им это удается. 

Редактирование контента

Некоторые пользователи считают, что для обновления контента нужно снести страницу целиком, а потом создать заново. На самом деле, контент можно редактировать, причем менять его радикально. Поисковые боты регулярно отслеживают изменения в сети и вносят обновления в свою базу данных. Поэтому удалять ссылку не нужно, если вы знаете, чем заменить ее содержимое. 

Удаление данных с чужого сайта 

Удалить контент с чужого сайта можно двумя путями. Первый, тот, что я описал выше, – Google Search Console Removal Tool. Он подходит для борьбы с неактуальной информацией. Но иногда контент нужно удалить не из соображений актуальности, а из-за юридических аспектов.

В таких случаях необходимо обращаться в поисковые службы напрямую и требовать удалить контент по закону. Опять же, это сработает только в том случае, если информация нарушает ваши исключительные авторские права на размещение. Или же публикуемая информация нарушает законодательство страны, в которой работает поисковая служба. 

Можно обратиться напрямую к владельцам сайта, припугнуть законом. Если не сработает, то Google предлагает направить запрос через их форму. И уже после того, как «запрещенные» материалы будут удалены со страниц, можно запустить Google Search Console Removal Tool и потребовать удаления устаревших URL из поисковой выдачи.

Проверка поисковой выдачи после удаления данных

По завершении описанных выше процедур страница исчезнет не сразу. Не нужно гуглить через минуту после прописывания meta-тегов и запроса на удаление URL. Ссылки пропадут из Google и Яндекс через несколько дней. 

Если вы решили удалить страницу из интернета, то проверить ее отсутствие можно вводом точного адреса в соответствующую строку браузера. 

Вместо заключения

Здесь мы и закончим. Как видите, есть масса способов спрятать страницу от Google и Яндекса. Все они срабатывают не сразу, но довольно быстро, да и сам процесс удаления ссылок до боли простой. Не придется осваивать какие-то сложные инструменты.

Поддерживайте данные на своих ресурсах в актуальном состоянии и удаляйте «поломанные» URL вовремя.