Почему страницы исключены из поиска

Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам. Чтобы узнать, по какой именно причине страница исключена, перейдите в Вебмастер на страницу Индексирование → Страницы в поиске и выберите Исключённые страницы. Подробно о блоке Исключённые страницы

Причина исключения страницы Решение
Страница признана малоценной или маловостребованной

Алгоритм принял решение не включать страницу в поиск, поскольку у нее мало шансов оказаться востребованной пользователями. Так может произойти, например, если страница не содержит контента, дублирует уже известные роботу страницы или ее контент не вполне отвечает интересам пользователей.

Это автоматический регулярный процесс, поэтому решение алгоритма может измениться. Подробно в разделе Малоценные или маловостребованные страницы.

Если у сайта есть такие страницы, это не означает, что у него есть нарушения и ограничения в ранжировании. Наличие у сайта ограничений можно проверить в Вебмастере на странице Диагностика → Безопасность и нарушения.

Ошибка при загрузке или обработке страницы роботом — если ответ сервера содержал HTTP-статус 3XX, 4XX или 5XX

Выявить ошибку поможет инструмент Проверка ответа сервера.

Если страница доступна для робота, проверьте, что:
  • информация о страницах есть в файле Sitemap;

  • в файле robots.txt запрещающие директивы Disallow, noindex и HTML-элемент noindex закрывают от индексирования только служебные и дублирующие страницы.
Индексирование страницы запрещено в файле robots.txt или с помощью метатега с директивой noindex

Удалите запрещающие директивы. Если вы самостоятельно не размещали запрет в файле robots.txt, обратитесь к хостинг-провайдеру или регистратору доменного имени для выяснения подробностей.

Также проверьте, не было ли блокировки доменного имени в связи с истечением срока регистрации.

Страница перенаправляет робота на другие страницы Убедитесь, что исключенная страница действительно должна перенаправлять пользователей. Для этого используйте инструмент Проверка ответа сервера.
Страница дублирует содержание другой страницы Если страница определена как дубль по ошибке, следуйте указаниям в разделе Дублирование страниц.
Страница не является канонической Проверьте, что страницы действительно должна перенаправлять робота на URL, указанный в атрибуте rel="canonical".
Адрес сайта признан неглавным Если сайты объединены в группу по ошибке, следуйте рекомендациям в разделе Разгруппировка сайтов.
На сайте обнаружены нарушения Чтобы проверить это, перейдите в Вебмастере на страницу Диагностика → Безопасность и нарушения.

Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.

Если вы устранили причину удаления страницы, отправьте страницу на переобход. Так вы сообщите роботу об изменениях.

Нажмите, чтобы решить проблему

Вопросы и ответы про исключенные из поиска страницы

На странице правильно заполнены метатеги description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?

Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег description и элемент title могут создаваться автоматически, повторять друг друга.

Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.

Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?

Это может происходить по нескольким причинам:

  • Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.
  • Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. Проверьте ответ сервера по интересующему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.
В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?

На странице Страницы в поиске, в списке Исключенные страницы, отображаются страницы, к которым робот обращался, но не проиндексировал (это могут быть уже несуществующие страницы, если ранее они были известны роботу).

Страница удаляется из списка исключенных, если:

  • она недоступна для робота в течение некоторого времени;
  • на нее не ссылаются другие страницы сайта и внешние источники.

Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска.

Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:

Страницы с разным содержанием могут считаться дублями, если отвечали роботу сообщением об ошибке (например, на сайте была установлена заглушка). Проверьте, как отвечают страницы сейчас. Если страницы отдают разное содержимое, отправьте их на переобход — так они смогут быстрее вернуться в результаты поиска.

Чтобы избежать исключения страниц из поиска в случае кратковременной недоступности сайта, настройте HTTP-код ответа 503.

Исключение страниц из поиска не является ошибкой со стороны сайта или индексирующего робота: исключаются страницы, которые пользователи не смогут обнаружить по запросам, поэтому их исключение не должно повлиять на видимость проиндексированных страниц сайта. Подробно см. в разделе Малоценные или маловостребованные страницы.

Напишите в службу поддержки, если:

  • страницы занимали высокие позиции в результатах поиска до момента их исключения;
  • позиции сайта после исключения страниц существенно понизились;
  • количестве переходов из поисковой системы значительно сократилось после исключения страниц.