Как удалить страницы из поиска
Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена с сайта.
- Шаг 1. Запретите индексирование страницы или каталога
- Шаг 2. Ускорьте удаление страницы
- Как вернуть страницу в результаты поиска
- Вопросы и ответы
Шаг 1. Запретите индексирование страницы или каталога
Сделать это можно несколькими способами:
- Если страница удалена с сайта
-
- Укажите директиву Disallow в файле robots.txt.
Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone. Для удобства пользователей рекомендуем установить редирект с HTTP-кодом 301.
- Если страница не должна отображаться в поиске
-
- Пропишите директиву Disallow в файле robots.txt.
- Укажите на странице метатег robots с директивой noindex.
Для проверки корректности указаний в файле robots.txt используйте инструмент Анализ robots.txt.
| Способ удаления | Поведение робота |
|---|---|
| Запрет в файле robots.txt | Робот прекращает обращаться к странице в течение суток. |
| HTTP-статус с кодом 404, 403 или 410 | Робот продолжает посещать страницу в течение некоторого времени, чтобы убедиться, что ее статус не изменился. Если страница останется недоступной, робот прекратит ее обходить. |
| Метатег robots с директивой noindex |
| Способ удаления | Поведение робота |
|---|---|
| Запрет в файле robots.txt | Робот прекращает обращаться к странице в течение суток. |
| HTTP-статус с кодом 404, 403 или 410 | Робот продолжает посещать страницу в течение некоторого времени, чтобы убедиться, что ее статус не изменился. Если страница останется недоступной, робот прекратит ее обходить. |
| Метатег robots с директивой noindex |
Когда робот посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных на странице Яндекс.Вебмастера.
Удаление из результатов поиска страниц, удаленных с сайта из-за нарушения авторских прав, не является приоритетным для робота. Чтобы убрать страницу из поиска, используйте описанные в данном разделе способы.
Удаленные из поисковой выдачи страницы могут отображаться в Яндекс.Вебмастере до следующего обхода сайта.
Рекомендуем просмотреть урок Как удалить страницу из поиска.
Шаг 2. Ускорьте удаление страницы
Чтобы ускорить удаление страницы из поиска, сообщите Яндексу о необходимости ее убрать, не дожидаясь планового обхода робота.
Если ваш сайт не добавлен или не подтвержден в Яндекс.Вебмастере:
- Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
- В поле введите адрес страницы, которую надо удалить, например http://example.com/page.html.
- Нажмите кнопку Удалить.
Чтобы убрать из поиска несколько страниц, последовательно удалите данным образом каждую страницу.
Если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом:
- Перейдите на страницу .
- Установите переключатель в положение По URL.
- В поле введите адрес страницы, например http://example.com/page.html.
- Нажмите кнопку Удалить.
Вы можете указать до 500 адресов одного сайта в сутки.
Вы можете удалить все страницы сайта, отдельные каталоги или страницы с заданными параметрами в URL, если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом.
- В Яндекс.Вебмастере перейдите на страницу .
- Установите переключатель в положение По префиксу.
- Укажите префикс:
Что удалить Пример Каталог сайта http://example.com/catalogue/ Все страницы сайта http://example.com/ URL с параметрами http://example.com/page? Что удалить Пример Каталог сайта http://example.com/catalogue/ Все страницы сайта http://example.com/ URL с параметрами http://example.com/page? Можно отправить до 20 префиксов для одного сайта в сутки.
- Нажмите кнопку Удалить.
После того, как URL отправлен в Яндекс.Вебмастер, вы можете отслеживать изменение статуса на странице :
| Статус | Описание |
|---|---|
| «В очереди на удаление» | Робот проверяет ответ сервера и наличие запрета на индексирование страницы. Проверка может занимать несколько минут. |
| «В процессе» | Робот проверил страницу. В течение суток страница будет удалена из результатов поиска. |
| «Удалена» | Страница удалена из результатов поиска. |
| «Отклонено» | Отсутствует запрет на индексирование или при обращении робота к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone. |
| Статус | Описание |
|---|---|
| «В очереди на удаление» | Робот проверяет ответ сервера и наличие запрета на индексирование страницы. Проверка может занимать несколько минут. |
| «В процессе» | Робот проверил страницу. В течение суток страница будет удалена из результатов поиска. |
| «Удалена» | Страница удалена из результатов поиска. |
| «Отклонено» | Отсутствует запрет на индексирование или при обращении робота к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone. |
Как вернуть страницу в результаты поиска
Уберите запрет на индексирование: директиву Disallow в файле robots.txt или метатег noindex. Страницы вернутся в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.
Вопросы и ответы
Если вы использовали редирект, робот постепенно отследит перенаправление, и по мере обхода сайта старые страницы будут пропадать из результатов поиска. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переобход.
Если адреса страниц меняются со сменой доменного имени сайта, то на обновление данных в поиске может потребоваться более месяца. Проверьте, правильно ли настроены зеркала.
