Без сильной технической оптимизации остальная часть вашей поисковой оптимизации (SEO) бесполезна. Если поисковые роботы не смогут сканировать и индексировать ваш сайт, они не смогут ранжировать ваш контент в результатах поиска. 

Понимание технических проблем в SEO выходит далеко за рамки аудита сайта в Semrush или сканирования в SEO Spider от Screaming Frog. Хотя эти инструменты полезны при аудите технического SEO сайта, вам необходимо копнуть глубже, чтобы выявить проблемы, которые действительно влияют на способность сайта сканироваться и индексироваться. Используя эти и многие другие инструменты, помогающие диагностировать технические проблемы SEO, проверяйте свой сайт на наличие этих семи технических проблем, которые могут свести на нет ваши усилия по SEO.

Заблокированный путь сканирования

1. Файл robots.txt

Файл robots.txt — это главный шлюз. Это первое место, куда обращаются этические боты, когда сканируют ваш сайт. Простой текстовый файл robots.txt содержит команды разрешения и запрета, которые сообщают поисковым системам, что сканировать, а что игнорировать. Ошибка в файле robots.txt может случайно запретить работу всего сайта, заставив ботов ничего не сканировать. Чтобы найти запрет на весь сайт, просмотрите файл robots.txt, расположенный по адресу https://www.yoursite.com/robots.txt , и найдите следующее:

Пользовательский агент: *

Запретить: /

Чтобы найти другие ошибки в файле robots.txt, используйте средство проверки, например Validator от Merkele. Когда вы вводите URL-адрес, валидатор отображает файл robots.txt и сообщает, разрешен или запрещен введенный вами URL-адрес.

Заблокированная индексация

2. Мета-тег Noindex для роботов

Этот метатег, находящийся в заголовке HTML-кода страницы, дает команду поисковым системам не индексировать страницу, на которой он найден. На практике это выглядит так:

Единственный способ найти страницы, заблокированные мета-тегом robots noindex, — это запустить сканирование сайта с помощью сканера, такого как Screaming Frog's SEO Spider, или перейти к отчетам о страницах в консоли поиска Google и нажать кнопку «Исключено noindex». отчет «тег». Обратите внимание, что консоль поиска Google покажет вам только выборку из 1000 затронутых страниц, поэтому, если у вас большой сайт, вы не сможете полностью проанализировать проблему таким образом.

3. Канонический тег

Google рассматривает канонические теги как предложение. Они предназначены для идентификации страницы, которую нужно проиндексировать, среди набора повторяющихся страниц. Выбрав канонический тег для каждой страницы, вы можете попросить Google не индексировать URL-адреса с параметрами отслеживания и т. д. Канонические теги находятся в заголовке отображаемого HTML-кода страницы и выглядят следующим образом:

Однако иногда канонические теги работают неправильно и требуют, чтобы Google не индексировал то, что нам действительно нужно в индексе. Лучший способ выявить неправильно канонизированные URL-адреса — запустить сканирование сайта с помощью сканера, такого как Screaming Frog’s SEO Spider, и сравнить канонический URL-адрес с просканированным URL-адресом. Вы также можете просмотреть отчеты Google Search Console «Альтернативная страница с правильным каноническим тегом» и «Дублирование без выбранного пользователем канонического тега».

Недостающие ссылки

4. Неверный формат или отсутствие тегов привязки

Существует много способов закодировать ссылку, по которой ваш браузер может перейти, но только один способ, по которому Google обещает, что он будет переходить наверняка: использование тега привязки с атрибутом href и квалифицированным URL-адресом. Например, сканируемый URL-адрес выглядит так:

Это анкорный текст

Ниже приведены примеры URL-адресов, которые Google не сканирует или не может сканировать:

Вам необходимо просмотреть исходный код страницы, чтобы определить, содержат ли ссылки теги привязки, атрибуты href и квалифицированные URL-адреса.

5. Страницы, потерянные из-за плохих ссылок

Страницы, которые вы хотите ранжировать, должны иметь ссылки на них, доступные для сканирования. Простое включение URL-адреса в карту сайта XML может привести к его индексации, но без сканируемого URL-адреса на сайте, который указывает на эту страницу, вероятность ранжирования у него гораздо ниже. Как показано выше, этот URL-адрес должен иметь тег привязки с атрибутом href и квалифицированный URL-адрес. Когда плохие ссылки являются единственным способом доступа к странице с контентом, создается впечатление, что она осталась без внимания Google, поскольку он не может перейти по ссылке на страницу.

Например, нумерация страниц на странице категории электронной торговли или в блоге часто не сканируется из-за плохих ссылок, метатегов noindex для роботов, канонических тегов, команд запрета robots.txt или, в редких случаях, всего вышеперечисленного. Сочетание отсутствия сканируемых ссылок и сигналов о запрете сканирования или индексирования контента означает, что страницы продуктов или блогов, на которые есть ссылки только со страниц с разбивкой на страницы, могут выглядеть как потерянные. Чтобы диагностировать эту проблему, сначала проанализируйте ссылки в нумерации страниц, а затем найдите другие сигналы, упомянутые на странице 2 набора страниц.

Проблемы с SEO на мобильных устройствах

По состоянию на 5 июля 2024 года Google завершит реализацию плана индексации с приоритетом мобильных устройств, начатого в 2016 году, и будет сканировать сайты только с помощью пользовательского агента Googlebot для смартфонов. Если ваш сайт не загружается на мобильных устройствах, Google не будет его сканировать или индексировать. Даже если он загружается, мобильная версия многих сайтов может быть менее функциональной, чем их настольная версия. Это может стать проблемой для технического SEO.

6. Проблемы с мобильной навигацией

Навигация — прекрасный способ передать авторитетность ссылок, поскольку каждая страница вашего сайта ссылается на каждую страницу, на которую есть ссылка в верхнем и нижнем колонтитулах навигации. Это означает, что каждая страница в верхнем и нижнем колонтитуле получает небольшой голос за релевантность и авторитетность ссылок благодаря тому, что она находится в этих навигационных элементах всего сайта. Но мобильная навигация может отличаться от навигации на настольном компьютере, поскольку часто содержит меньше ссылок из соображений «удобства использования». 

Возьмем, к примеру, сайт электронной торговли модной одеждой, такой как L.L. Bean, с навигацией по навигатору до 4-го уровня. Они делают это правильно: вы можете перейти с любой страницы как на настольном компьютере, так и на мобильном устройстве вниз на четыре уровня навигации по сайту, например «Одежда» > «Женская одежда» > «Рубашки и топы» > «Фланелевые рубашки». Если вы потратите минуту на то, чтобы взглянуть на их навигацию на своем мобильном устройстве и сравнить ее с навигацией на настольном компьютере, вы увидите, что она содержит те же ссылки на тот же контент. 

Анализируйте навигацию своего сайта аналогичным образом. Если у вас нет последовательной или лучшей навигации, которая бы ссылалась на ваш сайт на мобильных устройствах так же глубоко или глубже, то робот Googlebot не сможет передавать внутренние ссылки на ваш сайт так глубоко, как это было раньше, когда он сканировал сайт для настольных компьютеров. Ваши страницы более низкого уровня будут иметь меньшую видимость и меньшие шансы на ранжирование. 

7. Проблемы с мобильным контентом

Подобно тому, как мобильные версии сайта могут иметь меньше элементов навигации, дизайнеры также склонны исключать элементы контента из мобильной версии сайта, чтобы упростить работу этих пользователей. Однако теперь, когда Googlebot сканирует только как смартфон, это означает, что Google не будет видеть и индексировать весь массив контента, доступного на настольном компьютере. Проанализируйте страницы своего сайта на мобильном устройстве, чтобы убедиться, что на мобильных устройствах доступны те же элементы контента, что и на настольных компьютерах.

Есть еще много технических проблем, которые могут возникнуть в SEO, но именно эти, по моему мнению, чаще всего наносят наибольший ущерб эффективности органического поиска. Проверьте свой сайт сегодня на наличие этих семи проблем SEO. Тогда вы можете быть уверены, что весь контент, который вы хотите просканировать и проиндексировать, может быть просканирован и что вы имеете право ранжировать и привлекать трафик на свой сайт.

Анонсы наших новых статей в Телеграме

Read More