About Teletype
Join
Victor Dobrov
@speedyindex
October 16

URL недоступен для Google при проверке: три уровня, на которых обрывается доступ робота

Когда url недоступен для google при проверке, инструмент проверки URL в Search Console выводит вердикт «URL недоступен Google» (URL is not available to Google) — третий и худший из результатов проверки опубликованной страницы. Google описывает его коротко: из-за серьёзной проблемы страница не может показываться в результатах поиска. Сам вердикт причину не называет, но под ним есть три поля, по которым уровень поломки определяется за минуту: «Сканирование разрешено?», «Получение страницы» и «Индексирование разрешено?».

Отрицательный результат живой проверки значит, что робот не прошёл один из трёх уровней доступа.

Сначала: проблема сайта или проблема страницы

Если робот не смог добраться до сайта вообще, инструмент не выводит постраничный статус «URL можно проиндексировать», а пишет «Страница недоступна из-за проблемы с сайтом» и уточняет её.

Список уточнений:

  • «DNS-сервер не отвечает» и «Ошибка DNS: неизвестный хост» — домен не резолвится или резолвится некорректно;
  • «Не удалось подключиться к серверу» — соединение не установилось;
  • «Недопустимый SSL-сертификат сервера» — проблема с HTTPS;
  • «Невозможно получить доступ к файлу robots.txt» — robots.txt отдаёт ошибку, и робот не получает правила сканирования;
  • «Превышена нагрузка на хост» — сервер не справляется с частотой запросов.

Всё это чинится не на странице, а в DNS, на хостинге или в конфигурации сервера. Проверять отдельные адреса до устранения такой проблемы бессмысленно: результат будет одинаково красным для всего сайта.

Уровень 1. «Сканирование разрешено?» — «Нет»

Робот до сайта дошёл, но адрес закрыт в robots.txt. Важный побочный эффект: раз страницу нельзя загрузить, Google не видит на ней директив, и поле «Индексирование разрешено?» будет показывать «Да» — хотя индексироваться страница в нормальном виде не будет.

Отсюда и известная ситуация, когда закрытый в robots.txt адрес остаётся в выдаче без описания: robots.txt не удаляет страницы из индекса, для этого нужен noindex при открытом сканировании.

Что делать: найти в robots.txt правило, которое перекрывает адрес, поправить и повторить «Проверить страницу на сайте».

Уровень 2. «Получение страницы» — «Ошибка»

Сканирование разрешено, но запрос страницы закончился ошибкой. Значения поля у живой проверки: «Успешно», «Ошибка», «Отсутствует» и «Внутренняя ошибка».

Последнее — сбой самого инструмента, Google советует просто повторить попытку позже. А вот «Ошибка» — это ответ вашего сервера: 5xx, 404, 403, 401 или обрыв соединения.

Здесь чаще всего проявляется расхождение «в браузере открывается — у робота ошибка».

Почему: защита от ботов или файрвол, которые режут запросы Googlebot; лимиты на частоту запросов; тяжёлые страницы, которые укладываются в таймаут для человека и не укладываются для робота под нагрузкой; географические блокировки.

Проверять нужно ответ сервера именно для робота, а не из своего браузера, и не для одной страницы, а для выборки: ошибка 5xx редко живёт на единственном адресе. Для этого удобно сделать отдельную проверку серверных ошибок 5xx по списку URL и увидеть, какие адреса отвечают нестабильно, до того как они попадут в отчёт об индексировании под причиной «Ошибка сервера (5xx)».

Уровень 3. «Индексирование разрешено?» — «Нет»

Страница загрузилась, но в ней есть директива, запрещающая индексирование: мета-тег robots со значением noindex или HTTP-заголовок X-Robots-Tag. Инструмент пишет, каким именно способом индексирование запрещено.

Почему: галочка «Запретить индексирование» в CMS, тестовая конфигурация, перенесённая на боевой сайт, плагин SEO, который ставит noindex на тип страниц целиком.

Что делать: убрать директиву в отдаваемом HTML или заголовках, очистить кеш, повторить проверку. Если «Индексирование разрешено?» по-прежнему «Нет», правка не дошла до того HTML, который получает робот, — посмотрите его через «Посмотреть проверенную страницу».

Три поля под вердиктом показывают, на каком уровне робот потерял доступ к странице.

Два замечания про редиректы

Живая проверка проходит все перенаправления и тестирует конечную страницу, но не сообщает об этом и не показывает итоговый адрес. Если старый URL ведёт на страницу с ошибкой, красный вердикт относится к ней. Вводите конечный адрес цепочки.

И второе: после исправления не нажимайте «Запросить индексирование» до положительного результата. Пока страница считается неиндексируемой по результатам живой проверки, запрос отправить нельзя; число запросов за день к тому же ограничено. Порядок простой: убрать причину, получить «URL доступен Google», потом один запрос.

Краткий порядок действий

  1. Посмотреть, нет ли статуса «Страница недоступна из-за проблемы с сайтом» — если есть, чинить DNS, сервер, сертификат или robots.txt.
  2. Проверить поле «Сканирование разрешено?» — при «Нет» править robots.txt.
  3. Проверить «Получение страницы» — при «Ошибка» смотреть ответ сервера для робота по выборке адресов.
  4. Проверить «Индексирование разрешено?» — при «Нет» искать noindex в HTML и заголовках.
  5. Повторить живую проверку, дождаться «URL доступен Google», один раз запросить индексирование.

Разбор всех статусов — и по данным индекса, и по живой проверке — собран в материале на блоге SpeedyIndex.

ИСТОЧНИКИ

Victor Dobrov
October 16, 08:40
0 views
0 reactions
0 replies
0 reposts