Как запретить индексирование сайта или страниц

Иногда нужно, чтобы страницы сайта или размещенные на них ссылки не появлялись в результатах поиска. Скрыть содержимое сайта от индексирования можно с помощью файла robots.txt, HTML-разметки или авторизации на сайте.

  1. Запретить индексирование сайта, раздела или страницы
  2. Запретить индексирование части текста страницы
  3. Скрыть от индексирования ссылку на странице

Запретить индексирование сайта, раздела или страницы

Если какие-то страницы или разделы сайта не должны индексироваться (например, со служебной или конфиденциальной информацией), ограничьте доступ к ним следующими способами:

  • В файле robots.txt укажите директиву Disallow.
  • В HTML-коде страниц сайта укажите метатег robots с директивой noindex или none. Подробнее см. в разделе Метатег robots и HTTP-заголовок X-Robots-Tag.
  • Используйте авторизацию на сайте. Рекомендуем этот способ, чтобы скрыть от индексирования главную страницу сайта. Если главная страница запрещена в файле robots.txt или с помощью метатега noindex, но на нее ведут ссылки, страница может попасть в результаты поиска.

Запретить индексирование части текста страницы

Скрыть от индексирования часть текста можно несколькими способами:

  • В HTML-код страницы добавьте элемент noindex. Например:

    <noindex>текст, индексирование которого нужно запретить</noindex>

    Элемент не чувствителен к вложенности — может находиться в любом месте HTML-кода страницы. Если на странице отсутствует закрывающий тег, скрытым считается весь контент страницы. Не создавайте множественную вложенность тегов noindex — разметка будет учитываться только до первого закрывающего тега.

    При необходимости сделать код сайта валидным возможно использование тега в следующем формате:

    <!--noindex-->текст, индексирование которого нужно запретить<!--/noindex-->
  • В HTML-код страницы добавьте элемент noscript. Например:

    <noscript>текст, индексирование которого нужно запретить</noscript>

    Элемент noscript, как и noindex, запрещает индексирование, но при этом скрывает содержимое сайта от пользователя, если его браузер поддерживает технологию JavaScript.

    Примечание. JavaScript поддерживают все популярные браузеры, если эта функция не отключена пользователем специально.

    Посмотреть отчет о наличии JavaScript можно в Яндекс.Метрике .