Google внес ряд обновлений в документацию своих сканеров и средств выборки, запускаемых пользователем, в основном разбив одностраничный документ на несколько страниц и документов. Но Google также расширил список продуктов, на которые влияет каждый сканер, добавив новый раздел рядом с каждым сканером и добавил фрагмент файла robots.txt для каждого сканера, чтобы продемонстрировать, как использовать токены пользовательского агента каждым сканером.

Что сказал Google. Google сообщил об этих изменениях следующим образом:

"Реорганизована документация для сканеров Google и средств выборки, запускаемых пользователем. Мы также добавили подробные примечания о том, на какой продукт влияет каждый сканер, и добавили фрагмент файла robots.txt для каждого сканера, чтобы продемонстрировать, как использовать токены пользовательского агента. В остальном никаких значимых изменений в контенте не произошло».

"Документация стала очень длинной, что ограничивало наши возможности по расширению контента о наших сканерах и сборщиках, запускаемых пользователем".

Что нового. Помимо простого перемещения большого количества контента и его организации. Google также добавил разделы «затронутые продукты», а также разделы «Пример группы robots.txt». Вот снимок экрана, примененный к сканеру Googlebot, но он был добавлен к каждому отдельному сканеру:

Я вытащил для вас каждую:

Робот Google. Настройки сканирования, заданные пользовательскому агенту Googlebot, влияют на поиск Google (включая Discover и все функции поиска Google), а также на другие продукты, такие как Google Картинки, Google Видео, Новости Google и Discover.

Изображение робота Googlebot. Настройки сканирования, заданные пользовательскому агенту Googlebot-Image, влияют на изображения Google, Discover, Google Video и все функции поиска Google, где представлены изображения, логотипы и значки.

Googlebot Video: настройки сканирования, заданные пользовательскому агенту Googlebot-Video, влияют на функции поиска Google, связанные с видео, и другие продукты, зависящие от видео.

Новости Googlebot. Настройки сканирования, заданные пользовательскому агенту Googlebot-News, влияют на все поверхности Новостей Google (например, вкладку «Новости» в Поиске Google и приложение Новости Google).

Google StoreBot. Настройки сканирования, заданные пользовательскому агенту Storebot-Google, влияют на все поверхности Google Shopping (например, вкладку «Покупки» в Google Поиске и Google Shopping).

Google-InspectionTool. Настройки сканирования, адресованные пользовательскому агенту Storebot-Google, влияют на инструменты тестирования поиска, такие как проверка расширенных результатов и проверка URL-адресов в Search Console. Это не влияет на поиск Google или другие продукты.

GoogleOther. Настройки сканирования, заданные пользовательскому агенту GoogleOther, не влияют ни на один конкретный продукт. GoogleOther — это универсальный сканер, который может использоваться различными группами разработчиков для получения общедоступного контента с сайтов. Например, его можно использовать для разового сканирования для внутренних исследований и разработок. Это не влияет на поиск Google или другие продукты.

GoogleOther-Image:Настройки сканирования, заданные пользовательскому агенту GoogleOther-Image, не влияют на какой-либо конкретный продукт, как и GoogleOther. GoogleOther-Image — это версия GoogleOther, оптимизированная для получения URL-адресов общедоступных изображений.

GoogleOther-Video: настройки сканирования, адресованные пользовательскому агенту GoogleOther-Video, не влияют на какой-либо конкретный продукт, как и GoogleOther. GoogleOther-Video — это версия GoogleOther, оптимизированная для получения URL-адресов общедоступных видео.

Google-CloudVertexBot: Настройки сканирования, заданные пользовательскому агенту Google-CloudVertexBot, влияют на сканирование, запрошенное владельцами сайтов для создания агентов Vertex AI. Это не влияет на поиск Google или другие продукты.

Google-Extended: Google-Extended — это отдельный токен продукта, который веб-издатели могут использовать для управления тем, помогают ли их сайты улучшать приложения Gemini Apps и генеративные API Vertex AI, включая будущие поколения моделей, на которых основаны эти продукты. Google-Extended не влияет на включение или рейтинг сайта в поиске Google.

API-Google. Настройки сканирования, адресованные пользовательскому агенту API-Google, влияют на доставку push-уведомлений API-интерфейсами Google.

AdsBot Mobile Web: настройки сканирования, заданные пользовательскому агенту AdsBot-Google-Mobile, влияют на способность Google Ads проверять качество рекламы на веб-страницах.

AdsBot. Настройки сканирования, заданные пользовательскому агенту AdsBot-Google, влияют на способность Google Ads проверять качество рекламы на веб-страницах.

AdSense. Настройки сканирования, заданные пользовательскому агенту Mediapartners-Google, влияют на Google AdSense. Сканер AdSense посещает участвующие сайты, чтобы предоставить им релевантную рекламу.

Безопасность Google. Пользовательский агент Google-безопасности обрабатывает сканирование, связанное со злоупотреблениями, например обнаружение вредоносного ПО для общедоступных ссылок на ресурсах Google. Таким образом, на него не влияют настройки сканирования.

Feedfetcher Feedfetcher используется для сканирования каналов RSS или Atom для Новостей Google и PubSubHubbub.

Центр издателей Google. Центр издателей Google извлекает и обрабатывает каналы, которые издатели явно предоставили для использования на целевых страницах Новостей Google.

Google Read Aloud: по запросу пользователя Google Read Aloud извлекает и считывает веб-страницы с помощью преобразования текста в речь (TTS).

Google Site Verifier. Google Site Verifier извлекает токены подтверждения консоли поиска.

Почему нас это волнует. Прочитав разделы затронутых продуктов, вы сможете лучше понять, как каждый сканер влияет на различные аспекты Google. Некоторые из них вообще не влияют на Google Поиск, а другие имеют основополагающее значение для работы Google Поиска.

Кроме того, новые примеры robots.txt могут быть очень полезны вам и вашим командам разработчиков.

Анонсы наших новых статей в Телеграме

Read More