Малоценные или маловостребованные страницы

В поисковой базе Яндекса хранятся данные о множестве страниц. По запросу пользователя может найтись большое количество результатов, релевантных в той или иной степени.

Алгоритм может не включать страницу в поиск, если у нее мало шансов оказаться востребованной пользователями. Так может произойти, например, если страница дублирует уже известные роботу страницы, не содержит контента, либо ее контент не совсем соответствует запросам пользователей. Это автоматический регулярный процесс, поэтому решение алгоритма о включении в поиск конкретной страницы может измениться.

Не включенные в поиск страницы можно увидеть в Вебмастере на странице Индексирование → Страницы в поиске (Исключённые страницы) со статусом «малоценная или маловостребованная».

Совет. Если у вас интернет-магазин, вы можете использовать Турбо-страницы и подключение к Маркету с помощью YML-фида. Это поможет Яндексу получать о страницах сайта более полную информацию и может улучшить их представление в результатах поиска.

Почему страница считается малоценной или маловостребованной

При выборе страниц алгоритм учитывает множество факторов. В зависимости от этого не включенные в поиск страницы можно условно разделить на типы:

Страница может быть признана малоценной, если она является дублем или не содержит видимый роботу контент.

Как исправить
  • Проверьте контент страницы и доступность его роботу:
    • Верны ли заголовки страницы (title, h1, h2 и т.д.), хорошо ли они описывают ее содержимое.
    • Нет ли важного контента, который дан как изображение.
    • Не выводится ли важный контент страницы JS-скриптами. Проверьте ответ сервера, чтобы увидеть HTML-код страницы таким, каким его получает робот.
    • Не используется ли iframe для вывода контента.
  • Если страница не представляет ценности, стоит закрыть ее от поиска:

    • Если страница повторяет содержимое других страниц сайта, используйте директиву rel="canonical" для указания оригинальной страницы или укажите незначащие GET-параметры в инструкции Clean-param в robots.txt. Можно также запретить индексацию страницы редиректом с HTTP-кодом 301, инструкциями robots.txt, метатегом или HTTP-заголовком noindex.
    • Если страница носит технический характер и не содержит полезного контента, запретите индексацию страницы директивой Disallow в robots.txt, метатегом или HTTP-заголовком noindex.

Действия алгоритма не являются ограничениями для сайта в поиске. Например, если какая-либо из страниц, исключенных ранее, была обновлена и получила возможность появиться в выдаче по запросам, алгоритм проверит ее повторно.

Примечание. У Яндекса нет квот на количество страниц, попадающих в индекс. Любое количество страниц, которые алгоритм признает полезными пользователям, будут проиндексированы.

Посмотрите рекомендации:

На какие вопросы отвечает ваш сайт

Представление информации на сайте

Вопросы и ответы

Страницы то исчезают, то появляются в поиске

Алгоритм проверяет все страницы регулярно, почти каждый день. Результаты поиска могут меняться, поэтому релевантность страниц в поиске также может изменяться, даже если их содержимое осталось прежним. В этом случае решение алгоритма может исключать страницы из поиска и снова возвращать их.

На страницах настроен HTTP-код ответа 403/404 или запрет noindex, а ссылки исключаются как маловостребованные

Алгоритм не выполняет повторного индексирования страниц, а проверяет тот контент страниц, который на этот момент есть в базе. Если ранее страницы были доступны, отвечали кодом 200 ОК и были проиндексированы, алгоритм может проверять их до тех пор, пока робот не посетит страницы повторно и не отследит изменения в коде ответа.

Ускорить процесс удаления таких страниц можно, запретив их индексирование в robots.txt сайта. Тогда ссылки автоматически пропадут из базы робота в течение двух недель.

Если такой возможности нет, см. рекомендации в разделе Индексирование сайта.

На сайте есть похожие страницы, но одна страница попадает в поиск, а другая — нет

При проверке страниц алгоритм оценивает очень большое число факторов ранжирования и индексирования. В результате проверки с учетом всех факторов решение по разным страницам, даже очень схожим по контенту, может быть разным. Возможно, похожие страницы отвечают на один и тот же запрос пользователя, поэтому алгоритм оставляет в поиске только одну, которая, по его мнению, является более релевантной.

На сайте есть страницы, которые не должны индексироваться, но они удалены как маловостребованные

Число исключенных таким образом страниц негативно не влияет на ранжирование сайта. Но если страницы удалены как маловостребованные, они доступны и могут участвовать в поиске. Возможны ситуации, при которых такие ссылки будут включены алгоритмом в выдачу. Если вы уверены, что такие страницы не нужны в поиске, лучше запретить их индексирование.

Почему дублирующие страницы удалены как маловостребованные?
Содержимое страниц может незначительно различаться или меняться динамически, из-за чего такие ссылки не могут быть признаны дубликатами. Однако из-за схожести контента страницы могут конкурировать между собой в поиске и дублировать друг друга, и одна из них будет наименее востребованной.

Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:

Страницы с разным содержанием могут считаться дублями, если отвечали роботу сообщением об ошибке (например, на сайте была установлена заглушка). Проверьте, как отвечают страницы сейчас. Если страницы отдают разное содержимое, отправьте их на переобход — так они смогут быстрее вернуться в результаты поиска.

Чтобы избежать исключения страниц из поиска в случае кратковременной недоступности сайта, настройте HTTP-код ответа 503.