Индексация страниц поисковыми системами: как обнаружить и исправить проблемы

Индексация страницы – процесс, при котором поисковая система анализирует содержимое веб-документа и копирует его, целиком или частично, на один из своих серверов. Индексация позволяет быстро обрабатывать запросы: после того, как вы что-то спрашиваете у поисковика, ему не нужно «обходить весь интернет» – фактически он ведет поиск по базе проиндексированных страниц на своих серверах. 

Индексация – первый и необходимый шаг для появления страницы в результатах поиска. Но не всегда все работает стабильно. Иногда страницы могут быть исключены из поиска или же изначально не индексироваться. Александр Шестаков, руководитель платформы LinksSape, рассказал, как устроен процесс индексации и из-за чего он может быть нарушен. 

Как происходит индексирование

Индексирование в поисковой системе происходит в несколько этапов и представляет собой своеобразную воронку:

1. Обнаружение страницы. Поисковик использует для этого особую программу – робот, он же краулер. Робот обнаруживает новую страницу: следуя новым ссылкам с уже индексированных страниц, из карты сайта или из сервисов-«аддурилок», с помощью которых вебмастер может напрямую оповестить поисковую систему о новой странице. 

2. Просмотр и сканирование содержимого. После обнаружения страницы поисковик просматривает ее содержимое: текст, изображения, видео, аудио и другие элементы. Поисковая система также анализирует HTML-структуру страницы, метаданные, заголовки и другие данные. При этом некоторые элементы, например, интерактивные блоки, сделанные с помощью Java или Ajax, с высокой вероятностью не будут «увидены» роботом и, соответственно, не попадут в индекс. 

3. Индексация. После просмотра содержимого поисковик добавляет информацию о странице в свой поисковый индекс. Это своеобразная база данных, которая хранит информацию о миллиардах веб-страниц. Во время индексации поисковая система создает обратные ссылки на страницу, определяет ключевые слова и фразы, классифицирует контент и делает другие записи, которые помогут при последующем поиске.

4. Ранжирование. Когда пользователь вводит свой запрос, поисковая система использует свой индекс, чтобы определить наиболее релевантные результаты. Это происходит путем сопоставления ключевых слов и фраз в запросе с информацией в индексе. Результаты ранжируются с использованием различных алгоритмов и факторов, таких как релевантность контента, авторитетность и популярность страницы.

Проблема отсутствия в индексе может возникать на каждом из этапов. Обновление индекса поисковой системы происходит непрерывно. Поисковики периодически сканируют новые и измененные страницы, чтобы обновить свой индекс и отразить изменения в результатах поиска. 

Как узнать, проиндексирована ли страница

Проверка в Google

• Способ 1. Подходит для любого сайта, не обязательно вашего. Используйте оператор поиска «site:» или «inurl:» перед URL-адресом страницы в Google. Например, для проверки наличия страницы https://www.example.com/mypage.html в индексе Google запрос будет таким: "site:www.example.com/mypage.html" или "inurl:www.example.com/mypage.html". Если страница проиндексирована, она появится в результатах поиска. 

• Способ 2. Используйте инструмент Google Search Console. Войдите в свою учетную запись, перейдите в раздел «Индексирование страниц» → «Страницы» и найдите нужную вам страницу.

Проверка в Яндексе

• Способ 1. Аналогичен проверке в Google – за исключением того, что здесь не сработает оператор «inurl:» – используйте только «site:».

• Способ 2. Войдите в свою учетную запись в Яндекс Вебмастере, перейдите в раздел «Индексирование» → «Страницы в поиске» и ищите нужную страницу там.

Самые частые проблемы с индексацией и их решения

Проблема 1. Дубли страниц

Если на сайте есть несколько идентичных или очень похожих страниц, поисковые роботы могут испытывать трудности с пониманием, какая из них является главной и какую следует показывать в результатах поиска. Это может привести к тому, что поисковые системы проиндексируют только одну из дублирующихся страниц, а остальные будут игнорироваться. Это может снизить общий трафик на сайт и ухудшить его позиции в результатах поиска.

Чек-лист для исправления этой проблемы:

• Уникальный контент для каждой страницы на сайте.
• Правильная структура URL-адресов – когда каждая страница имеет уникальный идентификатор.
• Корректная настройка редиректов 30х.
• Теги rel="canonical" для указания оригинальной страницы и закрытие дублей от индексации, если они все же есть и неустранимы (например, из-за особенностей CMS).

Проблема 2. Неправильная настройка robots.txt

Robots.txt – файл, который содержит инструкции для поисковых систем, в том числе касающихся правил индексации. Есть несколько типичных ошибок:

• Файл лежит не в той директории сайта или вообще отсутствует. Убедитесь, что он есть и доступен по правильному пути (site.ru/robots.txt).
• В robots.txt закрыт от индексации весь сайт. Если в вашем файле robots.txt есть строка Disallow: /, это означает полное блокирование индексации всего ресурса.
• Ошибочная блокировка отдельных страниц. Возможно, вы случайно заблокировали индексацию важных страниц или разделов сайта. Проверьте, что поисковым системам не запрещено индексировать нужные вам веб-документы. 
• Переходы со старой версии сайта. Если вы перешли на новую версию сайта, возможно, старый файл robots.txt блокирует индексацию важных страниц нового сайта. Убедитесь, что файл robots.txt не содержит неправильных инструкций, относящихся к новому сайту.

Проблема 3. Бесполезный контент

Бесполезный с точки зрения поисковой системы контент часто является причиной плохой индексации. Вот что стоит проверить в связи с этим:

• Уникальность. Если страница выпала из индекса – возможно, ваш контент украли, а поисковик решил, что первоисточником является не ваш сайт, а тот, что «позаимствовал» контент. Увы, в этом случае куда проще и быстрее сделать новый контент, чем доказывать поисковой системе ее неправоту. 
• Полезность для посетителей. Поисковики могут считать часть страниц сайта созданными исключительно для количества или для продажи рекламы. Проверьте качество контента, сравнив его с содержимым сайтов-конкурентов в вашей тематике. Если анализ выявит разительную разницу, добавьте релевантную информацию, улучшите качество текста и медийных элементов, предоставьте ценные и уникальные сведения, которые будут полезны для посетителей.
• Лишний контент. Возможно, на каких-то страницах остался частично неудаленный старый контент или вообще техническая информация из-за ошибок в языке разметки. Удалите все лишнее. 
• Спамность. Проверьте контент на общий и локальный переспам любым SEO-сервисом. Если плотность ключевых слов слишком высока, это тоже может быть причиной проблем с индексацией, – в этом случае контент стоит обновить, сделать его более читабельным. 

Стоит отметить, что исправление любых указанных выше ошибок редко ведет к мгновенному появлению страниц в индексе. Как правило, требуется несколько часов или даже дней, чтобы поисковый робот вновь посетил ваш сайт и узнал об изменениях. 

Как улучшить индексацию и профилактировать проблемы с ней

1. Добавить счетчики Google Analytics и Яндекс Метрики

Добавление счетчиков может быть дополнительным фактором, который улучшит индексацию сайта. Знание поисковой системы о трафике на вашем сайте даст понимание, какие страницы важны и должны быть добавлены в индекс. 

2. Предупредить появление дублей

Если на вашем сайте есть дублирующиеся страницы, поисковики могут проигнорировать одну из них или заблокировать индексацию обеих. Добавляйте rel=”canonical” на каждую страницу сайта, корректно настраивайте ЧПУ и редиректы, особенно при изменении структуры сайта и добавлении новых разделов.

3. Проверить и устранить технические проблемы

Скорость сайта – если страницы сайта слишком большие и загружаются медленно, поисковые системы могут прерывать индексацию, чтобы не перегружать свои серверы.

Ошибки HTTP – если сервер сайта возвращает ошибки HTTP, например, 404 (страница не найдена) или 500 (внутренняя ошибка сервера), это может привести к блокировке индексации.

4. Настроить xml-карту сайта

Карта сайта – файл, который описывает его структуру и помогает поисковикам понять, какие страницы следует индексировать. Для создания карты сайта нужно использовать формат XML и указать каждую страницу сайта в отдельном элементе. Например, для страницы "example.com/page1.html" элемент карты сайта будет выглядеть так:

<url> <loc>http://example.com/page1.html</loc> </url>

После того как вы создали карту сайта, загрузите ее на сервер и добавьте ссылку на нее в файл robots.txt. Это поможет поисковым системам найти и проиндексировать все страницы вашего сайта.

5. Избавиться от мусорных страниц

Проверьте отчеты поисковых систем: используйте официальные инструменты поисковиков, такие как Google Search Console и Яндекс Вебмастер, чтобы получить отчеты о страницах, которые не удалось проиндексировать или которые были обнаружены как проблемные. 

Используйте инструменты для анализа контента: существуют сервисы, такие как Screaming Frog или Sitebulb, помогающие анализировать содержимое сайта и выявлять мусорные страницы, которые нужно удалить или наполнить. 

6. Проставить внутренние ссылки, настроить перелинковку

Внутренняя перелинковка – процесс создания ссылок между страницами на вашем сайте. Правильная перелинковка может значительно улучшить не только индексацию, но и пользовательский опыт. 

Ключевое правило здесь – сделать так, чтобы на сайте не было страниц, не связанных с другими. Продумайте главное меню сайта, «хлебные крошки», футер и другие элементы, которые привычны пользователям и при этом помогают связать страницы друг с другом.

7. Поставить внешние ссылки

Внешние ссылки, ведущие на ваш сайт, помогают поисковым системам определить структуру и качество вашего контента, а также улучшают и ускоряют индексацию. Регулярное появление новых ссылок будет для поисковых сервисов сигналом о том, что ваш сайт ценен, и его нужно индексировать. Используйте различные типы ссылок для того, чтобы придать ссылочному профилю естественность. 

Подытожим

Следуя этим рекомендациям, вы сможете предупредить большую часть проблем с индексацией страниц. Помните, что полезно иметь в индексе даже те страницы, которые едва ли повлияют на конверсии – например, новости компании. Чем больше проиндексированных страниц на ресурсе, тем выше доверие поисковой системы к нему. А значит, тем проще продвинуть его в топ выдачи.