Более 250 веб-сайтов в настоящее время блокируют Google-Extended, «автономный токен продукта», который Google представил 28 сентября, чтобы вы могли заблокировать доступ к вашему контенту Bard, Vertex AI генеративным API и будущим поколениям моделей.

Это данные исследования, которыми команда Detailed.com поделилась исключительно с Search Engine Land.

Почему нас это волнует. Было много споров и дискуссий о том, должны ли бренды и компании блокировать каких-либо ботов (например, GPTBot, CCBot), которые сканируют контент, который затем используется для обучения LLM. Пока лишь меньшинство сайтов решило заблокировать, но в последние месяцы это число продолжает расти, поскольку они не хотят, чтобы их контент помогал компаниям, занимающимся искусственным интеллектом, получать прибыль и конкурировать с ними.

Значительный рост. По состоянию на 19 ноября 252 веб-сайта из 3000 популярных веб-сайтов заблокировали Google-Extended. Чуть более месяца назад (8 октября) только 89 из этих сайтов заблокировали Google-Extended.

Это означает, что количество сайтов, блокирующих Google-Extended, за последний месяц выросло на 180%.

Веб-сайты, блокирующие расширенное сканирование Google. К ним относятся:

Свойства Зиффа Дэвиса (например, PC Mag, Mashable).

Свойства Vox (например, The Verge и NYMag).

Нью-Йорк Таймс.

Condé Nast (22 сайта, включая GQ, Vogue, Wired)

Yelp (частый критик Google и юридический оппонент).

Напоминание. Хотя вы можете заблокировать Google-Extended в файле robots.txt, это не заблокирует появление вашего контента в Google Search Generative Experience и не помешает Google использовать ваш контент для обучения SGE. Чтобы полностью отказаться от участия, вам придется заблокировать Googlebot (что также приведет к отключению вас от поиска). Однако вы можете отказаться от обзоров SGE с помощью nosnippet.

Read More