Директива User-agent
В файле robots.txt робот проверяет наличие записей, начинающихся с User-agent:, в них учитываются подстроки Yandex (регистр значения не имеет) или *. Если обнаружена строка User-agent: Yandex, то строка User-agent: * не учитывается. Если строки User-agent: Yandex и User-agent: * отсутствуют, считается, что доступ роботу не ограничен.
Роботам Яндекса можно указать отдельные директивы. О том, как роботы учитывают их, см. в разделе Роботы Яндекса в логах сервера.
Если обнаружены директивы для конкретного робота, директивы User-agent: Yandex и User-agent: * не используются.
Пример:
User-agent: YandexBot # будет использоваться только основным индексирующим роботом
Disallow: /*id=
User-agent: Yandex # будет использована всеми роботами Яндекса
Disallow: /*sid= # кроме основного индексирующего
User-agent: * # не будет использована роботами Яндекса
Disallow: /cgi-bin
В соответствии со стандартом перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки. Символ # предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается. Подробно см. в разделе Обработка символа #.
Примечание
Роботы Яндекса могут выделять записи по наличию в строке User-agent:.
Некоторые роботы Яндекса могут игнорировать указания в robots.txt, в том числе для User-Agent: Yandex. Чтобы задать директивы для таких роботов, пропишите их в robots.txt с указанием конкретных User-Agent. Подробнее см. в разделе Роботы Яндекса в логах сервера.
Задайте вопрос Нейровебмастеру — в правом нижнем углу нажмите кнопку 
.
Если у вас остались вопросы, напишите в чат службы поддержки. Для этого в правом нижнем углу нажмите значок . Чат доступен ежедневно с 8:00 до 20:00 по московскому времени.