Crawl Stats (Статистика сканирования)

Что такое Crawl Stats?

Crawl Stats (Статистика сканирования) — это «кардиограмма» вашего сайта в глазах поисковых роботов (Googlebot и YandexBot). Доступ к этой аналитике является одним из главных инструментов Technical SEO-специалиста.

Отчет показывает: сколько раз робот приходил на ваш сайт за последние 90 дней, сколько страниц он успел скачать (и сколько мегабайт краулингового бюджета потратил), и самое главное — с какими ошибками или медленными ответами сервера он столкнулся.

Что анализируют в отчете Crawl Stats?

1. Динамика сканирования (Всего запросов): Если кривая обхода резко упала вниз, это критический сигнал (Drop). Значит, поисковик "обиделся" на технические ошибки, заблокировал себя в robots.txt или сервер просто не справляется с нагрузкой.
2. Время отклика сервера (Время сканирования): Робот показывает, за сколько миллисекунд он скачивал HTML-код. Если этот график лезет вверх (скачет к 2000-3000 мс) — нужно срочно менять хостинг или оптимизировать тяжелые скрипты БД, иначе сайт скоро вылетит из индекса.
3. Распределение по кодам ответа HTTP: В идеальном мире 95% ответов в отчете должны быть "200 ОК" (страница доступна). Если вы видите взрывной рост сканирования страниц с кодом "404 Not Found" или "301 Redirect", значит, вы сломали структуру URL, и робот нарезает круги по битым ссылкам.
4. Тип контента: Робот должен сканировать HTML. Если 80% бюджета уходит на сканирование бесконечного количества картинок PNG или тяжелых JS/CSS файлов (что бывает при плохой настройке кэширования), на новые тексты и товары у робота просто не останется лимитов.