OpenAI опубликовала информацию о своем новом веб-сканере под названием GPTBot. Вы можете прочитать документацию по GPTBot здесь.

Что такое GPTBot. GPTBot – это поисковый робот OpenAI, используемый OpenAI для обхода Интернета, использования знаний для своих функций ИИ, таких как ChatGPT, и использования их для предоставления сгенерированных ИИ ответов на ваши вопросы.

Агент пользователя. Токен пользовательского агента GPTBot — «GPTBot», а его полная строка пользовательского агента — «Mozilla/5.0 AppleWebKit/537.36 (KHTML, например Gecko; совместим; GPTBot/1.0; +https://openai.com/gptbot). )».

Robots.txt. Вы можете использовать файл robots.txt, чтобы заблокировать GPTBot доступ ко всему или частям вашего веб-сайта. Чтобы запретить GPTBot доступ к вашему сайту, вы можете добавить GPTBot в файл robots.txt вашего сайта:

Агент пользователя: GPTBot
Запретить: /

Чтобы разрешить GPTBot доступ только к вашим частям вашего сайта, вы можете добавить токен GPTBot в файл robots.txt вашего сайта следующим образом:

Агент пользователя: GPTBot
Разрешить: /каталог-1/
Запретить: /directory-2/

Диапазоны IP-адресов GPTBot. OpenAI также опубликовал здесь диапазоны IP-адресов, которые использует GPTBot. В настоящее время он перечисляет один, но я подозреваю, что со временем они добавят больше.

Почему это нас волнует. Если вы не хотите, чтобы GPTBot сканировал ваш сайт и/или использовал ваш контент в своих целях, вы можете запретить GPTBot сканировать ваш сайт. Это тот же протокол, который вы использовали бы для блокировки GoogleBot, BingBot или других поисковых роботов.

Read More