Google предложил три способа, как можно скрыть сайт из выдачи

В новом видео #AskGooglebot Джон Мюллер поделился способами, которые пригодятся, если нужно убрать сайт из поисковой выдачи Google. 

Есть 3 способа: использовать пароль, а также заблокировать сканирование или индексирование. Как сообщает SearchEngines, блокирование контента от Googlebot не будет нарушением рекомендаций для вебмастеров, если контент также закрывается и от пользователей. 

Использование пароля

Этот способ является самым лучшим подходом, когда требуется обеспечить конфиденциальность сайта. Так ни пользователи, ни поисковые боты не увидят контент. Защита паролем является обычной практикой для разрабатываемых ресурсов.

Блокировка сканирования

Второй вариант предполагает запрет сканирования с помощью файла robots.txt. В этом случае пользователи получат доступ к сайту только по прямой ссылке, а вот боты увидеть ресурс не смогут. Мюллер отмечает, что иногда поисковые системы смогут индексировать сайт и без доступа к контенту – такое случается, но редко.

Блокировка индексации

Еще один способ основан на запрете индексирования сайта поисковыми системами. Для этого нужно добавить на страницу метатег noindex, который сообщит ботам, что она не должна индексироваться. Пользователи при этом по-прежнему будут видеть страницу. 

В конце видео Джон Мюллер подытожил, что защита паролем – это самый оптимальный вариант для ситуации с конфиденциальным контентом. Остальные способы подойдут, если контент таковым не является или требуется скрыть только определенные части сайта.