Дублирование страниц

Страницы считаются дублями, если они доступны по разным адресам, но имеют одинаковое содержимое. В этом случае индексирующий робот объединяет их в группу дублей. В поисковую выдачу войдет только одна из этих страниц — которую выберет робот.

Примечание. Дублями признаются страницы в рамках одного сайта. Например, страницы на региональных поддоменах с одинаковым содержимым не считаются дублями.

Страницы-дубли появляются по разным причинам:

  • Естественным. Например, если страница с описанием товара интернет-магазина присутствует в нескольких категориях сайта.
  • Связанным с особенностями работы сайта или его CMS.
Чтобы узнать, есть ли на вашем сайте дубли:
  1. Перейдите в Вебмастер на страницу Страницы в поиске и в таблице выберите Все страницы.
  2. Выгрузите архив — внизу страницы выберите формат файла. В файле дублирующая страница имеет статус DUPLICATE. Подробно о статусах
Чтобы проверить, удалена ли страница-дубль из поиска, посмотрите список исключенных страниц.
Примечание. Страницей-дублем может быть как обычная страница сайта, так и ее быстрая версия, например AMP-страница.

Чтобы оставить в поисковой выдаче нужную страницу, укажите роботу Яндекса на нее . Это можно сделать несколькими способами в зависимости от вида URL.

Различается адрес страницы, в том числе путь до нее

Пример для обычного сайта:

http://example.com/page1/ и http://example.com/page2/

В этом случае:

Пример для сайта с AMP-страницами:

http://example.com/page/ и http://example.com/AMP/page/

В этом случае добавьте в файл robots.txt директиву Disallow, чтобы запретить индексирование страницы-дубля.

В URL отображается адрес главной страницы сайта
https://example.com и https://example.com/index.php

В этом случае:

В URL есть или отсутствует /
http://example.com/page/ и http://example.com/page

В этом случае установите редирект с HTTP-кодом 301 с одной дублирующей страницы на другую. В этом случае в поиске будет участвовать цель установленного редиректа.

В URL различаются GET-параметры
http://example.com/page/, http://example.com/page?id=1 и http://example.com/page?id=2

В этом случае:

В URL различаются метки (UTM, from и пр.)
http://example.com/page?utm_source=link&utm_medium=cpc&utm_campaign=new и http://example.com/page?utm_source=instagram&utm_medium=cpc

В этом случае добавьте директиву Clean-param в файл robots.txt, чтобы робот не учитывал параметры в URL.

В URL есть параметры AMP-страницы
http://example.com/page/ и http://example.com/page?AMP

В этом случае добавьте директиву Clean-param в файл robots.txt, чтобы робот не учитывал параметры в URL.

Робот узнает об изменениях, когда посетит ваш сайт. После посещения страница, которая не должна участвовать в поиске, будет исключена из него в течение трех недель. Если на сайте много страниц, этот процесс может занять больше времени.

Проверить, что изменения вступили в силу, можно в Яндекс.Вебмастере на странице Страницы в поиске.

Если вы следовали рекомендациям выше, но через три недели изменения не отобразились в результатах поиска, заполните форму ниже. В форме укажите примеры страниц.

Страницы с разным содержанием могут считаться дублями, если отвечали роботу сообщением об ошибке (например, на сайте была установлена заглушка). Проверьте, как отвечают страницы сейчас. Если страницы отдают разное содержимое, отправьте их на переобход — так они смогут быстрее вернуться в результаты поиска.

Чтобы избежать исключения страниц из поиска в случае кратковременной недоступности сайта, настройте HTTP-код ответа 503.