Reddit продолжит блокировать Microsoft и другие поисковые системы и модели искусственного интеллекта от сканирования своего контента с помощью robots.txt, если только они не заключят соглашение о лицензировании контента. Об этом заявил в новом интервью генеральный директор Reddit Стив Хаффман.

Почему Reddit блокирует поисковые системы. Отмечая, что «заблокировать эти компании было настоящей головной болью», вот что еще Хаффман рассказал сайту технологических новостей The Verge:

«Без этих соглашений мы не имеем никакого права голоса или знаний о том, как наши данные отображаются и для чего они используются, что поставило нас в положение, когда мы блокируем людей, которые не желают смириться с тем, как мы Я бы хотел, чтобы наши данные использовались или не использовались».

«Мы заставили Microsoft, Anthropic и Perplexity действовать так, как если бы весь контент в Интернете был для них бесплатным. Это их настоящая позиция».

«Я думаю, что традиционный обмен ценностями со стороны поисковых систем изменился. Поиск, обобщение и обучение сливаются, а обмен значения сканирования в обмен на обратный трафик становится запутанным».

Бесплатное ПО. Да, генеральный директор Microsoft AI Мустафа Сулейман на самом деле назвал веб-контент «бесплатным ПО», заявив, что любой может его скопировать и использовать:

«…Что касается контента, который уже находится в открытой сети, общественный договор этого контента с 90-х годов заключался в том, что его использование является добросовестным. Любой может его скопировать, воссоздать, воспроизвести с его помощью. Если хотите, это было бесплатное ПО. Это было понимание».

Google не заблокирован. Между тем Reddit не заблокировал Google. Это потому, что Google платит Reddit 60 миллионов долларов в год. О сделке по лицензированию контента было объявлено в феврале.

Заявление Microsoft. После новостей о блокировке поисковых систем Reddit представитель Microsoft сообщил Search Engine Land:

«Microsoft уважает стандарт robots.txt, и мы соблюдаем указания веб-сайтов, которые не хотят, чтобы контент на их страницах использовался с нашими генеративными моделями искусственного интеллекта. Bing прекратил сканирование Reddit после того, как 1 июля они внедрили обновленный файл robots.txt, который запрещает любое сканирование их сайта.“

Почему нас это волнует. Reddit занимает сильную позицию, заключив лицензионное соглашение с Google, не говоря уже о безумном количестве органической видимости и трафика, которые он получает благодаря своей известности в результатах поиска Google. Однако другим производителям и издателям контента, скорее всего, понадобится любая видимость и трафик, которые они могут получить от поисковых систем с искусственным интеллектом и систем ответов, внедрив стратегии генеративной оптимизации (GEO).

Read More