Журналы доступа к серверу — ценный, но часто упускаемый из виду ресурс SEO. 

Они фиксируют каждый запрос на веб-сайт, предоставляя полное, нефильтрованное представление о том, как пользователи и боты взаимодействуют с сайтом, а также предоставляя важную информацию для улучшения вашей стратегии SEO.

Узнайте, почему журналы доступа к серверу важны для SEO, как их анализировать и как использовать информацию и визуализацию для улучшения вашей стратегии SEO.

Почему журналы доступа к серверу необходимы для расширенного SEO-анализа

Многие популярные инструменты веб-аналитики и отслеживания предоставляют ценную информацию, но имеют свои ограничения. 

Они в основном фиксируют взаимодействие с JavaScript или полагаются на файлы cookie браузера, а это означает, что некоторые взаимодействия посетителей могут быть пропущены. 

По умолчанию такие инструменты, как Google Analytics, направлены на фильтрацию большей части нечеловеческого трафика и группировку запросов в сеансы, сопоставленные с каналами.

Журналы доступа отслеживают все обращения к серверу, собирая данные как о пользователях-людях, так и о пользователях-ботах. Это дает четкое и нефильтрованное представление о трафике сайта, что делает анализ журналов ключевым инструментом для SEO, независимо от того, как пользователи взаимодействуют с сайтом.

Анатомия записи журнала доступа к серверу

Полная запись журнала доступа к серверу может выглядеть так:

192.168.1.1 - - [10/Oct/2023:13:55:36 +0000] "GET /about-us.html HTTP/1.1" 200 1024 " https://www.example.com/home" "Mozilla/5.0 (совместимо; Googlebot/2.1; +http://www.google.com/bot.html)" 0,237

Эта запись представляет собой одиночный запрос к серверу и включает в себя:

IP-адрес: 192.168.1.1

Идентифицирует IP-адрес клиента.

Отметка времени: [10 октября 2023 г.:13:55:36 +0000]

Указывает дату и время запроса.

Метод HTTP: GET

Указывает тип запроса.

Запрашиваемый URL: /about-us.html

Страница, к которой осуществляется доступ.

Протокол HTTP: HTTP/1.1

Версия протокола, использованная для запроса.

Код состояния: 200

Указывает на успешный запрос.

Передано байт: 1024

Размер данных, отправляемых в ответ.

URL-адрес реферера: https://www.example.com/home

Страница, с которой пришел посетитель.

Агент пользователя: Mozilla/5.0 (совместим; Googlebot/2.1; +http://www.google.com/bot.html)

Идентифицирует робота Googlebot как клиента.

Время ответа: 0,237

Время, необходимое серверу для ответа.

Анализируя каждый компонент, специалисты по оптимизации могут:

Понимание поведения пользователей и ботов.

Выявить технические проблемы.

Принимайте решения на основе данных для улучшения эффективности SEO.

Детальная видимость активности ботов

Журналы особенно полезны для отслеживания активности ботов, поскольку они показывают, как и когда сканеры поисковых систем взаимодействуют с определенными страницами веб-сайта.

Знание того, как часто робот Googlebot, Bingbot или другие поисковые системы сканируют ваш сайт, может помочь выявить закономерности и определить, какие страницы являются приоритетными (или игнорируются) ботами, а также определить наиболее ценные страницы для более эффективного «распределения» бюджета сканирования.
Журналы доступа помогут вам ответить на такие вопросы, как: 

Какие типы контента чаще всего сканируются роботом Googlebot?

Какая доля общих запросов приходится на определенный тип страниц и как она соотносится с общей долей URL-адресов?

Сканируются ли приоритетные страницы так часто, как это необходимо?

Есть ли URL-адреса, которые вообще не сканируются? 

Соответствуют ли шаблоны запросов ботов для определенных типов контента запросам от других пользовательских агентов и рефереров? Можно ли извлечь какую-либо информацию из различий?

Получают ли некоторые URL-адреса непропорционально большую долю запросов на сканирование?

Боты пропускают какой-то приоритетный контент?

Какой процент от общего числа индексируемых URL-адресов запрашивается роботом Googlebot? 

Если вы обнаружите, что боты пропускают высокоприоритетные страницы или целые разделы сайта, возможно, пришло время изучить информационную архитектуру, распределение внутренних ссылок или другие технические проблемы.

Анонсы наших новых статей в Телеграме

Read More