Если у вас есть сайт, важно следить за его доступностью для потенциальных клиентов. Во время его поддержки вы узнаете, что такое внешняя оптимизация сайта и индексация. В этом материале подробно рассказываем, что такое индексация и что делать, если по каким-то причинам страницы не отображаются в поисковой системе.
Что такое индексация страниц сайта
Индексация страниц сайта — сканирование, считывание информации и добавлении в индекс (каталог) поисковым роботам. Поисковик использует полученную информацию, чтобы узнать тематику сайт. После того поисковик определяет ключевые слова для каждой страницы, он сохраняет копии в поисковом индексе. Для каждого сайта сохраняется URL и информация о контенте.
Когда пользователь ищет информацию в поиске, поисковый робот просматривает список просканированных сайтов и показывает релевантные страницы в выдаче.
Однако, не все страницы робот может добавить в свой каталог. При сканировании, поисковый робот анализирует качество контента, скорость загрузки, дубликаты текста, иллюстрации в тексте. Если страница не соответствует требованиям и может ввести пользователя в заблуждение — страница не попадет в индекс поисковой системы. Если страница нарушает требования к качеству и на сайте применяются черные методы seo-продвижения — робот может наложить на сайт штрафные санкции или вовсе его забанить.
Чтобы помочь роботу индексировать нужные страницы, вы можете какие-то из них закрыть от индексации вручную с помощью атрибутов nofollow и noindex. Таким образом, вы сможете продвигать только нужные страницы и смешать вес с одних страниц на другие.
Как проверить индексацию страниц в Google и Yandex
Чтобы проверить индексацию страниц в Яндексе, вам нужно войти в сервис Яндекс.Вебмастер и в разделе «Индексирование» изучить информацию обо всех проиндексированных страницах. Здесь вы также сможете проверить, какие страницы больше не индексируются и по каким причинам.
Если на каких-то страницах обнаружены ошибки, вы можете их исправить и отправить на повторную индексацию в этом же разделе. Если вы добавили на сайт новые страницы под услуги, вы можете отслеживать их индексацию в разделе «Мониторинг важных страниц».
Чтобы проверить индексацию страниц в Google, необходимо зайти в сервис Google Analytics и перейти в раздел «Покрытие». Здесь вы сможете также узнать, какие страницы выпали из поиска, а какие нет.
Если страницы не индексируются ни одной поисковой системой, нужно проверить запрет в обход площадки в robots.txt настройках хостинга или в метатегах robots. Если сайт индексируется только одним поисковиком, то поверяют сайт на фильтры поисковой системы.
Как ускорить индексацию
Чтобы ускорить индексацию страниц, выполняют следующие действия:
- Улучшают контент: удаляют переспам ключей, оставляют только важные ключи под тему, добавляют больше полезной информации, обновляют иллюстрации, оптимизируют скорость загрузки страницы.
- Добавляют страницу в сервисы веб-мастеров Google и Яндекс вручную, чтобы робот обошел ее в первую очередь.
- Настраивают внутреннюю и внешнюю перелинковку. Чем больше сайтов и страниц ссылается на продвигаемую страницу, тем лучше.
Также если регулярно обновлять контент — можно ускорить индексацию всех страниц и продвижение сайта в целом.
Что делать, если страница выпала из индекса
Падение страницы может быть по нескольким причинам, если их устранить — страница снова попадет в индекс. Вот какие могут быть причины:
- текст низкого качества;
- наличие дублей страниц;
- неуникальные сниппеты или их отсутствие;
- переоптимизация;
- некачественные обратные ссылки;
- смена URL — ЧПУ;
- аффилированность;
- продажа ссылок;
- некачественный хостинг.
Чтобы страницы сайта не выпадали из индекса, нужно добиться уникальности текста 75-90%. Тексты должны быть без воды, орфографических ошибок и подмены смысла в текстах. Заголовок должен отражать тему страницы, а текст отвечать заголовку.
Чтобы не появлялись дубли, нужно правильно настроить 301 редирект со страницы дубля на основную страницу. Но не всегда причины выпадения из индекса кроется в самом сайте, это происходит ввиду некачественного ссылочного профиля. Потому важно аккуратно работать с линкбилдингом.
При смене URL, настраивают 301 редирект со старого адреса на новый. При размещении платных ссылок лучше их закрыть атрибутом nofollow.
Если сайт перестал приносить конверсии, а на страницы снизился трафик — возможно она выпала из индекса. Потому важно постоянно контролировать процесс, и при необходимости предпринимать изменения — ускорять индексацию либо полностью ее закрыть на время.