Disallow и noindex: в чём разница и что выбрать

Оба инструмента «закрывают» страницу, но на разных этапах. Disallow в robots.txt не пускает робота на адрес. Noindex в метатеге или заголовке X-Robots-Tag пускает робота, но запрещает добавлять страницу в индекс. Путаница между ними приводит к результату, обратному задуманному.

Как понять, какой механизм сработал

В инструменте проверки URL в Search Console это видно по двум полям блока индексирования:

«Сканирование разрешено?» — «Нет: заблокировано файлом robots.txt». Сработал Disallow. Google страницу не загружал и не знает, что на ней написано.
«Индексирование разрешено?» — «Нет: обнаружен тег noindex». Сработал noindex. Робот страницу загрузил и прочитал запрет.

Важная деталь: если сканирование закрыто, поле про индексирование будет показывать «Да» — роботу просто нечего читать.

Почему Disallow не убирает страницу из поиска

Раз робот не загружает страницу, он не видит на ней noindex. Адрес может остаться в выдаче, если на него ведут ссылки, — обычно без описания. Поэтому связка «Disallow + noindex» на одной странице не работает: запрет сканирования не даёт сработать запрету индексации.

Что выбрать

Убрать страницу из поиска — noindex, сканирование открыто.
Не тратить обход на технические адреса (фильтры, сортировки) — Disallow.
Срочно скрыть страницу из выдачи — noindex + инструмент «Удаления» в Search Console.
Закрыть разделы от всех — доступ по паролю.

Проверить Disallow до выкладки

Ошибка с Disallow обычно не в самой строке, а в том, как Google выбирает правило: побеждает самое длинное подходящее, а отдельная группа для Googlebot отменяет общие правила. Перед публикацией файла стоит прогнать список адресов: в статье «как проверить правила robots.txt» пошагово разобрано, как найти строку, которая блокирует страницу.

Источники: https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ru · https://developers.google.com/search/docs/crawling-indexing/block-indexing?hl=ru