META ROBOTS или robots.txt?

Обход URL и включение страницы в поиск — разные задачи. robots.txt сообщает роботам, какие пути обходить. noindex в HTML или HTTP-заголовке запрещает включать доступную роботу страницу в поиск. Выбор зависит от желаемого результата.

Задайте цель

Для уменьшения обхода технических разделов используйте robots.txt.
Для исключения общедоступной страницы разрешите роботу получить её и прочитать noindex.
Для закрытых данных настройте авторизацию. Правила для роботов не защищают доступ.

Файл robots.txt

Файл находится в корне конкретного сайта: например, https://example.com/robots.txt. Здесь обход административных и внутренних поисковых URL запрещён. Это не гарантирует исчезновение известных по другим ссылкам адресов из выдачи.

User-agent: *
Disallow: /admin/
Disallow: /search/
Sitemap: https://example.com/sitemap.xml

User-agent выбирает группу правил. Disallow запрещает обход подходящего пути. Sitemap указывает карту сайта, но не гарантирует индексирование её страниц. Административный раздел должен требовать входа отдельно: сам файл правил виден всем.

Совпадение путей и Allow

Disallow: /pda затрагивает и /pda/, и /pda-download.html. Для каталога используйте /pda/ и отдельно определите ответ URL без завершающего слеша.

Google выбирает наиболее специфичное подходящее правило пути; при равной специфичности разрешение имеет приоритет. Пример разрешает обход /info/, запрещая остальное:

User-agent: *
Disallow: /
Allow: /info/

Пустое Disallow: не запрещает пути. Отдельная группа конкретного робота может изменить набор правил: группа * не обязательно добавляется к ней. Проверяйте точный URL и нужного робота по его документации.

Исключение страницы через noindex

Если общедоступную HTML-страницу не нужно показывать в поиске, добавьте в её head:

<meta name="robots" content="noindex">

Робот должен получить страницу. Если URL запрещён в robots.txt, прочитать noindex не получится; известный по внешним ссылкам адрес может остаться в поиске. Изменение выдачи требует повторного обхода и не происходит мгновенно.

Для PDF и других не-HTML ресурсов правило можно вернуть HTTP-заголовком:

X-Robots-Tag: noindex

nofollow относится к ссылкам

noindex управляет включением текущей страницы в поиск. nofollow относится к переходам по ссылкам на ней. Их можно сочетать:

<meta name="robots" content="noindex,nofollow">

Это не обещание передать или сохранить определённый ссылочный вес. Робот может узнать адреса целевых страниц из других источников. Значения index,follow также не приказывают обязательно проиндексировать страницу.

Историческая директива Host

Первоначальная статья использовала Host для выбора главного зеркала Яндекса. В марте 2018 года Яндекс сообщил об отказе от неё: робот игнорирует эту строку. При переезде настройте корректные постраничные перенаправления на соответствующие новые URL; Host в новый пример не добавляем.

Проверка результата

Откройте robots.txt точного протокола и домена; проверьте ответ и фактические правила.
Проверьте конкретный URL с учётом группы робота и совпадения пути.
Для noindex проверьте HTML или заголовок самого ресурса и разрешённый обход.
После изменения используйте инструмент проверки URL поисковой системы. Разрешение обхода не гарантирует индексирование.

Источники: Google: правила robots.txt, назначение robots.txt, noindex, метатеги и заголовки, Яндекс: robots.txt и отказ от Host.