Расшифровка данных статистики сканирования Googlebot в консоли поиска Google
В разделе Настройки Google Search Console спрятан отчет, который обсуждают немногие специалисты по SEO, но мне нравится следить за ним.
Эти отчеты называются статистикой сканирования.
Здесь вы найдете интересный набор показателей активности сканирования Googlebot. Эти показатели особенно полезны для веб-сайтов с тысячами или миллионами страниц.
Робот Googlebot «Статистика сканирования»
Давным-давно в консоли поиска Google были легко доступные показатели активности сканирования Googlebot. Потом оно вроде бы исчезло.
На самом деле он был спрятан в разделе Настройки.
Как получить доступ к отчетам о статистике сканирования:
Нажмите Настройки в нижней части левой панели навигации.
Перейдите в раздел Статистика сканирования.
Нажмите Открыть отчет.
О данных статистики сканирования
Пока робот Googlebot сканирует ваш сайт, Google отслеживает и сообщает о различных аспектах деятельности робота Google, а также сообщает об этом в статистике сканирования Google.
Здесь вы найдете общую статистику об истории сканирования вашего сайта Google.
Google заявляет, что эти данные предназначены для опытных пользователей
Данные статистики сканирования Googlebot не предназначены для новичков в области технической SEO.
Google специально заявляет, что эти данные предназначены для «продвинутых пользователей» с тысячами страниц на сайте, поэтому, возможно, именно поэтому они расположены в таком необычном месте, невидимом для многих представителей SEO-сообщества.
Одна из причин, по которой Google может воспринимать этот отчет как расширенный, заключается в том, что на эти показатели может влиять очень многое, в том числе проблемы с сетью и облачными службами доставки, такими как Akamai.
Для кого статистика сканирования окажется наиболее полезной?
Я считаю, что отчеты «Статистика сканирования» не являются «расширенным» набором отчетов, но более полезны для корпоративных оптимизаторов, не имеющих таких инструментов мониторинга сканеров, как Lumar и Botify.
При SEO на корпоративном веб-сайте с тысячами или миллионами страниц оптимизация сканера является жизненно важной задачей, а показатели активности сканера дают важную информацию для определения действий.
Небольшим сайтам, скорее всего, не придется слишком беспокоиться об активности сканеров, поскольку на ваш сайт, вероятно, выделен достаточный бюджет сканирования для сканирования с соответствующей скоростью.
С другой стороны, корпоративные сайты, как правило, содержат гораздо больше страниц, которые необходимо сканировать, обнаруживать и/или обновлять, чем Google сканирует их сайт каждый день.
По этой причине им необходимо оптимизировать работу сканера, что является инструментом, помогающим определить дальнейшие действия.
Что искать в этих данных
После многих лет анализа данных на многих сайтах у меня есть одно главное правило:
Не тратьте здесь много времени, если не увидите колебаний и корреляций.
Часто эти отчеты интересны, но бесполезны.
Примеры колебаний, которые я обычно исследую:
Запросы HTML уменьшились (или увеличились), в то время как число загружаемых байтов JavaScript увеличилось (или увеличилось).
Среднее время ответа увеличилось (или резко возросло), в то время как количество HTML-запросов снизилось (или внезапно упало).
Общий размер загрузки увеличился (или увеличился), но количество HTML-запросов не изменилось.
Процент запросов на обнаружение (обнаружение новых URL-адресов) увеличивается, а процент запросов на обновление снижается; однако вы не запускали новые URL-адреса на сайте.
Когда смотреть статистику сканирования
Статификацию сканирования полезно просматривать (и регистрировать) не реже одного раза в месяц.
Особенно удобно отслеживать их после крупных выпусков, таких как миграция платформы или серьезный редизайн. Это поможет вам быстро понять, как Google реагирует на ваши новые изменения.
Помните: если у вас есть инструмент мониторинга ботов, такой как Lumar или Botify, эти данные не так полезны, как данные мониторинга ботов, предоставляемые этими инструментами.
Предупреждения относительно данных статистики сканирования
На показатели статистики сканирования Google могут влиять многие вещи, выходящие за рамки обычной версии для разработчиков.
Это означает, что команда SEO, менеджеры по продукту и разработчики должны мыслить нестандартно при оценке колебаний.
Вы должны учитывать, что могло вызвать увеличение или уменьшение активности сканирования роботами Google не только в вашем выпуске, но также в сети и технологическом стеке.
Изменения в чем-то, например в Akamai, потенциально могут повлиять на эти данные.
Зарегистрируйте данные статистики сканирования в электронной таблице
Мне нравится архивировать эти данные, поскольку Google сообщает о таком небольшом временном интервале.
Отличным примером этого является проблема, с которой я сейчас столкнулся с клиентом. Судя по сообщениям GSC, ситуация улучшается:
Однако, поскольку у меня есть показатели шестимесячной давности, я могу сказать, что эти показатели на 40 % выше, чем шесть месяцев назад.
Хотя они и снижаются, они все равно хуже, чем были в прошлом. Проблема клиента в том, что разработчики понятия не имеют, почему это происходит (к сожалению, решение этой проблемы выходит за рамки данной статьи).
Вы можете просто сделать снимок экрана. Однако из-за этого очень сложно сравнивать результаты во времени.
Обратите внимание, что на диаграмме нет левой оси. Вы действительно не можете сказать, что отражают линии. (Примечание. Числа появляются на левой/правой оси, когда вы просматриваете на диаграмме только два показателя)
Вместо этого поместите эти данные в электронную таблицу. Затем у вас есть фактические данные, которые можно составить в виде диаграммы с течением времени, рассчитать и использовать для сравнения с другими показателями, такими как посещения.
Хранение исторических данных в одном месте часто полезно при обсуждении крупных изменений с разработчиками, чтобы показать, насколько лучше были показатели 4–6+ месяцев назад.
Помните, что разработчикам нравятся точные и конкретные данные, поэтому диаграммы с фактическими числами на оси слева/справа (или, что еще хуже, вообще без чисел на оси x) будут для вас полезнее. чем диаграммы с разными числами на оси x.
Помните, что поля отчетов разбиты на страницы
Хотя самые важные показатели, которые вам понадобятся, скорее всего, видны в представлении по умолчанию, многие разделы отчета разбиты на страницы – и их легко пропустить!
