Структура сайта

Яндекс Вебмастер показывает разделы сайта, которые содержат не менее 10 страниц и составляют более 1% от общего числа страниц, загруженных в базу поиска. Разделы представлены в виде дерева в соответствии со структурой URL сайта. По каждому разделу сайта доступна информация о количестве страниц, которые были загружены роботом Яндекса и участвуют в поиске.

Представленные данные помогут определить, что робот загружает именно те разделы сайта, которые вы считаете интересными для своих пользователей. Запретить загрузку страниц из определенных разделов сайта можно с помощью файла robots.txt.
Примечание. Если вы видите в Вебмастере разделы, которых нет на сайте, скорее всего, ссылки на них размещены на других ресурсах. Чтобы робот перестал обходить ссылки, запретите индексирование разделов сайта с помощью директивы Disallow в файле robots.txt.

Добавление раздела

Вы можете узнать информацию об индексировании всех разделов сайта, которые вас интересуют (даже если они не составляют 1% от общего числа страниц, загруженных в базу поиска). Чтобы получить эти данные, нажмите кнопку Добавить раздел и в поле укажите необходимый раздел, начиная с «/». Например, /catalog1.

Оператор * позволяет указать неточное совпадение с названием раздела сайта:

catalog1* Будут добавлены все разделы, URL которых начинается с catalog1
*catalog1 Будут добавлены все разделы, URL которых оканчивается на catalog1
*catalog1* Будут добавлены все разделы, URL которых содержит catalog1
catalog1* Будут добавлены все разделы, URL которых начинается с catalog1
*catalog1 Будут добавлены все разделы, URL которых оканчивается на catalog1
*catalog1* Будут добавлены все разделы, URL которых содержит catalog1

Изменения вступят в силу через несколько дней.

Вопросы и ответы

Что означает «загружено»

Количество страниц вашего сайта, к которым робот Яндекса успел обратиться. Среди них могут быть как проиндексированные страницы, так и страницы, при обращении к которым получена ошибка.

Что означает «страниц в поиске»

Страницы, которые участвуют в поиске Яндекса. Страница может не попасть в результаты поиска, если она дублирует контент другой страницы, содержит спам или вирусы, перенаправляет на другой URL, при ее скачивании произошла ошибка.

Чтобы выяснить, почему страница отсутствует в поиске, рекомендуем проверить ее состояние.

Почему в разделе проиндексированы не все страницы

Скорее всего, прошло слишком мало времени с момента, когда робот узнал о сайте. Рекомендуем обновить файл Sitemap и дождаться, пока робот проиндексирует его.

Как запретить роботу Яндекса загружать страницы определенного раздела

Чтобы запретить индексирование раздела сайта, в файле robots.txt укажите

User-agent: Yandex
Disallow: /раздел/

При следующем индексировании сайта робот учтет указание и удалит раздел. Описание исключений для файла robots.txt см. в разделе Роботы Яндекса в логах сервера.

Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:

В структуре нет раздела, который есть на сайте
Ошибка в работе страницы «Структура сайта»

Яндекс Вебмастер показывает разделы сайта, которые содержат не менее 10 страниц и составляют более 1% от общего числа страниц, загруженных в базу поиска.