Reddit обновил файл robots.txt, запретив Bing и многим другим поисковым системам сканировать сайт. «Bing прекратила сканирование Reddit после того, как 1 июля они внедрили обновленный файл robots.txt, который запрещает любое сканирование их сайта», — сообщил Search Engine Land представитель Microsoft.

Что случилось. 1 июля 2024 г. Reddit обновил файл robots.txt, запрещающий многим поисковым системам и инструментам искусственного интеллекта сканировать сайт. Reddit не помешал Google сканировать сайт, несмотря на то, что некоторые люди могли подумать ранее в этом месяце. Однако Reddit не позволил большинству других сканеров сканировать сайт.

Рано этим утром Марк Уильямс-Кук уведомил меня, что результаты Reddit исчезают из индекса поиска Bing. Затем эту новость начали освещать несколько СМИ. Я хотел подтвердить, что сканеры Bing действительно были заблокированы, поскольку Reddit использовал обнаружение IP-адресов, чтобы показывать поисковым системам одну версию своего файла robots.txt, а людям — другую версию файла robots.txt, как я объяснял ранее в этом месяце.

Поэтому Bing прекратил сканировать новый контент на Reddit, поэтому при фильтрации результатов Reddit в поиске Bing за последнюю неделю вы ничего не видите:

Microsoft подтвердила. Представитель Microsoft сообщил Search Engine Land:

«Мы уважаем стандарт robots.txt. Bing прекратил сканирование Reddit после того, как 1 июля они внедрили обновленный файл robots.txt, который запрещает любое сканирование их сайта».

Заявление Reddit. Представитель Reddit Тим Ратшмидт заявил в заявлении The Verge:

«Это совершенно не связано с нашим недавним партнерством с Google. Мы вели переговоры с несколькими поисковыми системами. Нам не удалось достичь соглашения со всеми из них, поскольку некоторые из них не могут или не хотят давать исполнимые обещания относительно использования ими контента Reddit, включая их использование для ИИ».

Почему нас это волнует. Поскольку Reddit заключил лицензионное соглашение с Google, Reddit может играть жестко с другими поисковыми системами и инструментами искусственного интеллекта. Поэтому Reddit заблокировал большинству других поисковых систем сканирование своего контента. Тем временем Google в настоящее время привлекает сумасшедший трафик на Reddit, в том числе тестирует для них специальный режим в результатах поиска.

Это заставляет задуматься, могут ли другие крупные веб-сайты попытаться пойти по этому пути и что это может оставить более мелким издателям и производителям контента.

Между тем, не ждите, что в ближайшем будущем на Bing появится много нового контента Reddit.

Read More