Чтобы страницы сайта отображались в выдаче, поисковики должны их проиндексировать. Если спустя некоторое время вы замечаете, что ваш сайт все еще не индексируется, нужно проверить его техническое состояние и найти ошибки.
Сколько нужно ждать индексации в Яндексе и Google?
Яндекс добавляет в поисковую выдачу новые страницы несколько раз в месяц. Однако материалы с авторитетных сайтов индексируются быстрее и попадают в поиск практически сразу после публикации.
Скорость индексации Google тоже зависит от степени авторитетности сайта и регулярности обновления контента. Например, популярные ресурсы, на которых постоянно выходят новые материалы, поисковые роботы посещают очень часто. Так что в выдаче можно найти даже статьи, опубликованные несколько часов назад. В среднем же на индексацию уходит от 2 до 4 дней. Однако новые сайты могут появиться в выдаче только через несколько недель.
Если все допустимые сроки прошли, необходимо вплотную заняться проблемой индексации. Ниже — наиболее распространенные причины, из-за которых страницы сайта могут оставаться незаметными для поисковых роботов.
Поисковики ничего не знают о вашем сайте
Если веб-проект только запустился, то на вопрос, почему Яндекс не индексирует сайт, будет очень простой ответ — потому что он его не видит. То же самое относится к Google. Поисковики быстрее начинают отслеживать те сайты, о которых им сообщают владельцы. Поэтому совет простой: запустили сайт — добавьте его в Яндекс.Вебмастер и Google Search Console.
В Яндекс.Вебмастере:
- Откройте главную панель.
- Нажмите на плюс, чтобы добавить сайт.
- Укажите адрес сайта и любым доступным способом подтвердите права на него. Можно добавить метатег в раздел <head> на главной странице, разместить в корне сайта HTML-файл, добавить TXT-запись в DNS домена.
В Google Search Console:
- Нажмите «Добавить ресурс».
- Укажите адрес сайта.
- Подтвердите права собственности.
Не нужно добавлять каждую страницу сайта — достаточно только главной. Так поисковые роботы узнают о существовании нового веб-проекта и будут периодически его проверять.
Вместе с сайтом рекомендуется добавлять карту сайта. Ее отсутствие также может стать причиной того, что Google или Яндекс не индексирует сайт.
Все или отдельные страницы закрыты от индексации
Почему сайт не индексируется, если вы сообщили о нем поисковым системам? Возможно, дело в том, что в настройках сайта запрещена индексация.
Например, многие вебмастера при наполнении страниц контентом делают их недоступными для поисковых роботов, чтобы те не забрали недоделанные материалы. Чаще всего для этого используют файл robots.txt, в котором и задаются параметры индексации.
Откройте файл robots.txt. Посмотрите, есть ли в нем такая запись:
User-agent: * Disallow:
Если нашли ее, то удалите — это запрет на индексацию всего сайта. Могут быть и другие ограничения. Чтобы разобраться с настройками индексации, изучите статью о том, что такое robots.txt и как его настроить.
Если в robots.txt все в порядке, проверьте файл .htaccess. Ищите в нем подобный фрагмент:
SetEnvIfNoCase User-Agent "^Googlebot" search_bot SetEnvIfNoCase User-Agent "^Yandex" search_bot SetEnvIfNoCase User-Agent "^Yahoo" search_bot SetEnvIfNoCase User-Agent "^Aport" search_bot SetEnvIfNoCase User-Agent "^msnbot" search_bot SetEnvIfNoCase User-Agent "^spider" search_bot SetEnvIfNoCase User-Agent "^Robot" search_bot SetEnvIfNoCase User-Agent "^php" search_bot SetEnvIfNoCase User-Agent "^Mail" search_bot SetEnvIfNoCase User-Agent "^bot" search_bot SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot SetEnvIfNoCase User-Agent "^Snapbot" search_bot SetEnvIfNoCase User-Agent "^WordPress" search_bot SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot SetEnvIfNoCase User-Agent "^Parser" search_bot
Это полный запрет на индексацию сайта. Удалите эти строки, если Яндекс или Гугл не индексирует страницы.
Запрет на индексацию также может быть прописан в метатегах. Изучите раздел <head> на главной странице. Ищите такую запись:
<meta name=«robots» content=«no index, nofollow»>
Если такая строчка есть, удалите ее.
Отдельные настройки приватности есть у CMS и конструкторов сайтов. Например, сайт на WordPress закрывается от поисковых роботов с помощью опции «Видимость для поисковых систем». Если поставить галочку «Попросить поисковые системы не индексировать сайт», то, скорее всего, он не появится в выдаче. Однако нет гарантии, что этот запрос будет учитываться, в отличие от прямого запрета на индексацию в robots.txt или метатегах.
Есть проблемы с работой самого сайта или хостинга
Возможно, сайт не в индексе, потому что работает плохо. Например, его страницы очень медленно загружаются. Проверить это можно с помощью специальных сервисов — например, PageSpeed Insights.
Также следует обратить внимание на состояние HTML-разметки. Поисковые системы все еще лояльно относятся к ошибкам, но могут понижать приоритет сайта из-за кривой разметки. Например, нарушение вложенности тегов приводит к тому, что роботам тяжело разобрать содержимое страницы. Типичный пример:
<section><p>Текстовый фрагмент</section></p>
Проблемы также могут быть с индексацией JavaScript. Если контент создается динамически, то поисковым роботам сложно его просканировать. Поэтому предпочтительнее оставлять на странице статичный код, который хранится в HTML-файле на сервере.
Возможные причины отсутствия индексации сайта также следует искать на стороне сервера. Если из-за проблем с хостингом страницы часто недоступны, то поисковые роботы приходят все реже, а затем и вовсе начинают их игнорировать.
Внутри сайта дублируется контент
Неиндексируемые сайты часто содержат дубли контента. За это они получают санкции от поисковых систем, которые поддерживают уникальность. К дублям может относиться одна и та же статья, доступная по разным адресам, метатеги. Важно также «склеивать» домены с WWW и без WWW, а также HTTP и HTTPS, чтобы поисковые системы понимали, по какому адресу расположена основная страница.
На домен наложен бан
Почему сайт не в индексе, если с технической стороны у него все в порядке? Возможно, дело в домене. Перед покупкой нужно обязательно проверять его историю. В противном случае вы рискуете нарваться на домен с плохой репутацией, забаненный в поисковых системах по причине злоупотребления «черными» методами продвижения или из-за других нарушений.
Узнать историю домена можно с помощью бесплатного сервиса whois.domaintools.com. С помощью него можно увидеть, сколько раз менялись владельцы домена, сколько имеется сайтов на том же IP, к которому прикреплен домен.
Не забывайте также об архиве интернета. Здесь можно ввести URL и посмотреть, как выглядел сайт несколько лет назад. Например, это главная страница Яндекса 10 марта 2012 года:
Что делать, если сайт вылетел из индекса по причине бана? Можно связаться с техподдержкой поисковой системы через инструменты вебмастера. Возможно, с домена снимут бан, если увидят, что на нем больше не происходит ничего противоправного.
Вывод
Причины отсутствия индексации сайта могут быть самыми разными — от случайного запрета проверки поисковыми роботами до бана домена. В большинстве случаев проблему можно решить самостоятельно, правильно настроив работу веб-проекта. Однако иногда поиск ответа на вопрос, почему не индексируется сайт в Яндексе или Google, занимает много времени даже у опытных вебмастеров.
Комментарии