Google выпустил новый отчет robots.txt в консоли поиска Google. Google также предоставил соответствующую информацию о файле robots.txt в отчете об индексировании страниц в Search Console. Наконец, Google решила прекратить работу тестера robots.txt.

Новый отчет robots.txt. Новый отчет Google robots.txt показывает некоторую информацию, которую Google имеет в вашем файле robots.txt, включая:

Какие файлы robots.txt Google нашел для 20 лучших хостов вашего сайта?

В последний раз, когда Google сканировал эти файлы,

Плюс любые обнаруженные предупреждения или ошибки.

Google также добавила в этот отчет возможность запросить повторное сканирование файла robots.txt в экстренных ситуациях, сообщает Google.

Как это выглядит. Вы можете получить доступ к этому отчету в Google Search Console в настройках. Вот как он выглядит:

Подробнее. Google также предоставил соответствующую информацию о файле robots.txt в отчете об индексировании страниц в Search Console.

С этим новым отчетом robots.txt компания Google решила прекратить работу тестера robots.txt.

Дополнительная помощь. У Google есть более подробный справочный документ по этому отчету robots.txt здесь.

Почему нас это волнует. Если у вас возникли проблемы с индексированием и сканированием, этот отчет может дать вам больше информации о том, связана ли проблема с вашим файлом robots.txt.

Вам, вероятно, следует просмотреть этот отчет для сайтов, которыми вы управляете в Google Search Console, просто чтобы убедиться, что Google не может получить доступ к вашему сайту из-за директив robots.txt.

Read More