Как удалить страницы из поиска

Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена с сайта.

  1. Шаг 1. Запретите индексирование страницы или каталога
  2. Шаг 2. Ускорьте удаление страницы
  3. Как вернуть страницу в результаты поиска
  4. Вопросы и ответы

Шаг 1. Запретите индексирование страницы или каталога

Сделать это можно несколькими способами:

Если страница удалена с сайта

Для проверки корректности указаний в файле robots.txt используйте инструмент Анализ robots.txt.

Примечание. При обходе сайта робот сначала обращается к файлу robots.txt, если он есть, а затем к самим страницам сайта. Последовательный обход страниц может занять некоторое время. Если вы хотите удалить из поиска множество страниц, укажите директиву Disallow для нужных страниц.
Если страница не должна отображаться в поиске
  • Укажите на странице метатег robots с директивой noindex.

  • Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.

Подробнее см. Метатег robots и HTTP-заголовок X-Robots-Tag.

Примечание. Не ограничивайте такие странице в robots.txt, чтобы робот Яндекса смог их проиндексировать и обнаружить ваши указания.
Поведение робота при разных способах удаления страницы
Способ удаления Поведение робота
Запрет в файле robots.txt Из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания. При этом страница может иногда появляться в результатах поиска, например, если на нее ведут ссылки с других ресурсов.
HTTP-статус с кодом 404, 403 или 410 Из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания.
Метатег robots с директивой noindex
Поведение робота при разных способах удаления страницы
Способ удаления Поведение робота
Запрет в файле robots.txt Из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания. При этом страница может иногда появляться в результатах поиска, например, если на нее ведут ссылки с других ресурсов.
HTTP-статус с кодом 404, 403 или 410 Из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания.
Метатег robots с директивой noindex

Адрес удаленной страницы отобразится в списке исключенных на странице Индексирование → Страницы в поиске Яндекс Вебмастера.

Удаление из результатов поиска страниц, удаленных с сайта из-за нарушения авторских прав, не является приоритетным для робота. Чтобы убрать страницу из поиска, используйте описанные в данном разделе способы.

Удаленные из поисковой выдачи страницы могут отображаться в Яндекс Вебмастере до следующего обхода сайта.

Рекомендуем просмотреть урок Как удалить страницу из поиска.

Шаг 2. Ускорьте удаление страницы

Чтобы ускорить удаление страницы из поиска, сообщите Яндексу о необходимости ее убрать, не дожидаясь планового обхода робота.

  • Если ваш сайт не добавлен или не подтвержден в Яндекс Вебмастере:

    1. Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
    2. В поле введите адрес страницы, которую надо удалить, например http://example.com/page.html.
    3. Нажмите кнопку Удалить.

    Чтобы убрать из поиска несколько страниц, последовательно удалите данным образом каждую страницу.

  • Если ваш сайт добавлен в Яндекс Вебмастер и вы подтвердили права на управление сайтом:

    1. Перейдите на страницу Инструменты → Удаление страниц из поиска.
    2. Установите переключатель в положение По URL.
    3. В поле введите адрес страницы, например http://example.com/page.html.
    4. Нажмите кнопку Удалить.

    Вы можете указать до 500 адресов одного сайта в сутки.

После того, как URL отправлен в Яндекс Вебмастер, вы можете отслеживать изменение статуса на странице Инструменты → Удаление страниц из поиска:

Статус Описание
«В очереди на удаление» Робот проверяет ответ сервера и наличие запрета на индексирование страницы. Проверка может занимать несколько минут.
«В процессе» Робот проверил страницу. В течение суток страница будет удалена из результатов поиска.
«Удалена» Страница удалена из результатов поиска.
«Отклонено» Отсутствует запрет на индексирование или при обращении робота к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone.
Статус Описание
«В очереди на удаление» Робот проверяет ответ сервера и наличие запрета на индексирование страницы. Проверка может занимать несколько минут.
«В процессе» Робот проверил страницу. В течение суток страница будет удалена из результатов поиска.
«Удалена» Страница удалена из результатов поиска.
«Отклонено» Отсутствует запрет на индексирование или при обращении робота к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone.

Как вернуть страницу в результаты поиска

Уберите запрет на индексирование: директиву Disallow в файле robots.txt или метатег noindex. Страницы вернутся в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.

Вопросы и ответы

Редирект настроен на новые страницы, но в поиске присутствуют старые страницы

Если вы использовали редирект, робот постепенно отследит перенаправление, и по мере обхода сайта старые страницы будут пропадать из результатов поиска. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переобход.

Если адреса страниц меняются со сменой доменного имени сайта, то на обновление данных в поиске может потребоваться более месяца. Проверьте, правильно ли настроены зеркала.

Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:

Сайт или отдельные страницы запрещены в robots.txt, но продолжают находиться в поиске
Старые страницы удалены и перенаправляют на новые, но продолжают присутствовать в поиске

Если при удалении страниц сайта вы следовали инструкциям и после того, как сайт посетил робот Яндекса, прошло больше двух недель, заполните форму ниже:

Если вы использовали редирект, отправьте страницы на переобход.