Обработка редиректов

Какие редиректы распознаёт робот Яндекса

Робот Яндекса распознает стандартные коды состояния HTTP 3xx (redirection).

Выделяются основные виды перенаправлений:

  • 301 — постоянное перенаправление;

  • 302/303/307 — временное перенаправление;

  • перенаправление с использованием метатега refresh при небольших задержках считается временным перенаправлением.

В чем различие между внутрихостовым и межхостовым редиректом

Внутрихостовым считается редирект в рамках одного хоста (FQDN). Межхостовым — между страницами различных хостов.

Пример внутрихостового редиректа:

a.ru/ -> a.ru/index.html
www.a.ru/index1.html -> www.a.ru/index2.html

Пример межхостового редиректа:

a.ru/index1.html -> www.a.ru/index2.html
a.ru/index1.html -> b.ru/index2.html

Как Яндекс обрабатывает внутрихостовые редиректы

Если на одной странице (источник) установлен редирект на другую страницу (цель) в пределах одного хоста, то робот проиндексирует контент цели, в результатах поиска будет отображаться ссылка на цель.

Главная страница хоста всегда будет отображаться в результатах поиска.

a.ru/ -> a.ru/innerpage
a.ru/innerpage -> a.ru/

Как Яндекс обрабатывает редиректы для региональных и языковых версий сайта

Если региональные или языковые версии реализованы как поддомены и для перенаправления посетителей настроен редирект, поддомены объединяются в группу зеркал. При посещении сайта робот, как и посетитель, может быть перенаправлен на один из поддоменов. Тогда он проиндексирует страницу-цель редиректа. Таким образом, сайт может по-разному отображаться в поиске:

Отображение главной и внутренних страниц

Если редирект настроен для внутренних страниц, в результатах поиска будет отображаться цель редиректа со своим содержимым. Если редирект настроен для главной страницы сайта — основная страница с контентом страницы-цели.

Например, в поиске отображается главная страница https://example.com. Если робот будет перенаправлен на страницу https://example.com/en, главная страница будет отображаться с английским содержимым. Если на страницу https://example.com/ru — с русским.

Выбор версии страницы для отображения

Если на сайте используется редирект с учетом IP-адреса посетителя, IP-адрес робота может отличаться от IP-адреса региона. Поэтому в результатах поиска может отображаться любая из версий страниц — в итоге контент страницы может не соответствовать тому, что вы бы хотели показать пользователю.

Чтобы в поиске отображался правильный контент:
  1. Определите робота, который обходит ваш сайт, например по User-Agent.
  2. Проверьте, какой контент получает этот робот.
  3. Используйте один из вариантов:
    • Настройте редирект так, чтобы робот Яндекса получал один и тот же контент.
    • Вместо редиректа используйте на сайте переключатель языка или региона. Для этого настройте сервер так, чтобы обе версии отвечали HTTP-кодом 200 OK. Если сайты уже объединены в группу зеркал, настройте сервер аналогично — сайты будут расклеены спустя некоторое время. Чтобы ускорить этот процесс, отправьте заявку на расклейку.

Как правило, для того, чтобы при смене адреса сайта или главного зеркала изменения отобразились в результатах поиска, необходимо около месяца. Если при переезде или расклейке сайтов вы следовали инструкциям, но изменения не отобразились в поисковой выдаче, напишите в службу поддержки.

Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:

Главное зеркало сайта может измениться, если на страницах старого сайта установлен редирект или атрибут rel="canonical", указывающий на сайт, который стал главным зеркалом. Чтобы избежать автоматического выбора главного зеркала в дальнейшем, убедитесь, что страницы всех неглавных зеркал выполняют редирект на соответствующие страницы желаемого главного зеркала. Подробно см. в блоге.

Это значит, что главное зеркало сайта робот выбрал автоматически. Укажите роботу правильный адрес сайта, следуя рекомендациям в разделе Переезд сайта на новое доменное имя.

Основные причины, по которым сайты не склеиваются:

  • В исходном коде страниц сайта, который должен стать главным зеркалом, присутствует атрибут rel="canonical". Удалите его и отправьте заявку на переезд снова.
  • Сайт недоступен или отвечает с большой задержкой.
  • Содержимое сайтов не совпадает. Проверьте соответствие адресов внутренних страниц и их заголовков.
  • Сайт переезжает в другую доменную зону без редиректа.
  • Индексирование сайта запрещено в файле robots.txt.
  • На сайте обнаружены нарушения правил Поиска. Посмотрите подробности в Вебмастере на странице Безопасность и нарушения и исправьте ошибки. Через две недели проверьте, что в Вебмастере пропало сообщение о нарушении, и отправьте заявку на переезд еще раз.
  • Заявка отправлена с сайта, на который нужно переехать.
  • Внутренняя ошибка сервиса. Попробуйте отправить запрос позже.